• 우리가 일요일까지 개발을 마친다고 가정 → 개발 가능 일수 : 4일(목, 금, 토, 일)
• Efficientdet 모델로 테스트 해보니 bbox만 다듬는 것에 한계가 보임
  • 같은 사과를 탐지할 때, 크게 움직이지 않아도 bbox가 많이 불안정하게 튀는 현상이 종종 보임
  • 결론 : 실시간 사과 탐지로 당도 예측이 힘들어 보임

진문님이 작성하신 대안

1. 내부적으로 1 ~ 2초 간격 이미지 캡쳐(유저 입장에선 계속 실시간 카메라 뷰)

2. 유저가 사과를 비추는 동안

   1. FE : 사과 위치 추출
   2. BE : 당도 연산 후 응답

3. 유저가 사과를 비추고 있는 동안 그 상태를 유지하도록 하기 위해 특정한 시각화 필요

   ex. 로딩바 또는 애니메이션 등

• 진문님이 작성한 대안과 유사한 방안으로 방향을 정했습니다.

• 대신에 지금은 서비스를 완성하는 것이 더 중요하다고 생각해서 유저 입장에서의 실시간이 느껴지는 경험을 조금 내려 놓았습니다.

• 저희가 생각한 당도 예측의 흐름은 아래와 같습니다.

  • 유저가 사과 이미지를 찍으면 그 이미지를 백엔드에 전송(실시간 사과 탐지는 포기…)
    • 이 과정에서 유저가 결과를 기다릴 때까지 지루하지 않도록 CSS등을 고민
  • 백엔드에서는 어제 건수가 완성한 YOLO python 코드를 통해 다중 사과의 bbox를 타이트하게 생성
    • 어제 건수가 완성한 YOLO python 코드를 백엔드 측에 옮기기로 했습니다.
  • bbox 생성 후 원래 만들어 놓은 당도 예측 코드에 bbox 전송 후 당도 예측
  • 프론트에 bbox 좌표와 해당 사과의 당도 전송

• 그래도 저희가 만든 efficientdet 모델을 놓기는 아까워서 일정 부분 가지고 가기로 했습니다.

• 지금 efficientdet 모델의 어려운 점은 사과를 탐지할 수는 있지만, 탐지한 사과의 bbox 유지가 힘든 것이었습니다.

• 따라서, 처음 사과를 탐지할 때까지는 efficientdet 모델을 사용하고, 그렇게 사과가 탐지되면 캡쳐가 가능하도록 설계합니다.

  • 사과를 탐지하지 못했을 때는 이전과 동일

• 사과가 탐지된 화면을 캡쳐한 이후부터 당도 결과가 나올 때까지는 화면 멈춤