Convention

Git

Docker

라벨링 - roboflow

딥러닝 환경 설정

딥러닝 모델

Redis, Celery

참고 링크

모두가 또는 내가 보면 좋은 링크들 기록

논의 필요 내용

[ BACK ]

1. 머신러닝 모델과의 연동

   import time
   import schedule
   
   # 머신러닝 모델
   def run_model():
       # 침수 단계 판별 코드
   
   schedule.every(10).minutes.do(run_model)
   
   while True:
       schedule.run_pending()
       time.sleep(1)
   

   다음과 같은 구조로 매 10분마다 모델을 돌리는 형식으로 구현하려고 하는데 가능할까요 ? ⇒ 모델을 메모리에 항상 로딩해두어야해서 위와 같은 구조로 돌리는게 가능할 것 같아요!

   모델 판별에 사용되는 실시간 CCTV 이미지를 파일로 추출할 수 있나용? .png나 .jpg 형식으로다가,, ⇒ 서울시교통정보센터 cctv는 .m3u8으로 된 링크를 구할 수 있어서 가능할 것 같은데(Mp4로 저장하는 것도 가능), 나머지 국토교통부꺼는 안될 것 같습니다. 다른 방법을 찾아보거나 국토교통부 관할 cctv는 서비스 대상에서 제외하거나 해야되지 않을까합니다.

   추가로 갑자기 생각이 든 것인데 개인이 cctv 영상을 저장해도 되는지가 애매해서 (공공에 공개된거니까 괜찮을수도 있지만?!) 이 부분에 대해서 한 번 조사를 해보면 좋지 않을까 합니당

[Model]

1. 크롤링 이미지의 경우 중복되어 크롤링 된 이미지가 많아 train set, valid set에 똑같은 이미지가 들어간 경우가 많을 듯함

   → 학습에 한번도 이용되지 않은 새로운 영상을 구할 수 있을 지가 의문

2. 객체 탐지 성능이 점수상으로는 좋지 않습니다. 탐지결과를 눈으로 보면 괜찮아보이는데도 말이죠? 🤷

   예상되는 이유로는

   • 저희조차 라벨링 할 때 1,2,3단계 구분이 애매한 부분이 있어서 같은 이미지에 대해서 누구는 1단계로하고 누구는 2단계로 라벨링을 했을 가능성이 충분히 존재하고 그게 그대로 모델에 나타나는 것 같습니다.
   • 그리고 바운딩 박스를 칠 때 객체에 딱 맞게 라벨링을 했어야했는데 객체에 타이트하게 바운딩을 치지 않아서, 0단계에 경우에는 바운딩을 타이트하게 칠 수 있는데 1,2,3단계의 경우에는 어떻게 바운딩 박스를 치는지 명확하게 기준을 잡지 않아서 바운딩 박스 점수가 상당히 낮은 것 같아요

   ⇒ 대안으로는

   1. 그냥 낮은 점수 그대로 안고 간다… (낮은 점수를 보완할 방법 ~~)

   2. 객체탐지모델 말고 수위계 측정을 한다……

   3. (데이터의 양을 늘리는 것에 초점을 두지 말고 질에 초점을 두는 걸로) 데이터 라벨링을 전체적으로 다시 검토한다… 정도가 있습니다,,,,,,, 😢