발표 시작

• A, B, C 등급의 빨간 사과 사진 3개를 보여주며 발표 시작
• 다 비슷해 보이지만, 당도는 다를 수 있음을 보여줌

기획 의도

• 기존 당도 측정 서비스의 한계점 → 전문 장비 등 일반인이 접근하기 힘든 환경
• 휴대전화 카메라로 당도 분석을 쉽게 하여 맛있는 과일을 고르기 위한 서비스(간편함 강조)

근거

• RGB(색상) → 당도 간의 상관 관계에 대한 근거(논문 자료, 보고서 등) 제시

구현 과정/계획

• 데이터셋 ⇒ 전북 장수 사과 당도 품질 데이터(50만 장의 사과 사진, 당도 측정 결과)

  • https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=&topMenu=&aihubDataSe=data&dataSetSn=490
  • 주어진 모델은 사과 품종 별 등급(A, B, C)을 나누기 위한 모델
  • 이를 우리가 원하는 출력이 나오도록 리모델링 및 재학습이 필요

• 폰 실시간 영상 → Back 전달 과정(socket)

  • 프론트엔드:

    1. 카메라 켜기(getUserMedia)

       const video = document.querySelector("video");
       navigator.mediaDevices.getUserMedia({ video: true }).then(stream => {
         video.srcObject = stream;
         video.play();
       });
       

    2. 프레임 추출(1초에 1번씩): 이때 압축(canvas.toBlob()) [압축방식]

       방식	설명	용량	속도	추천도
       canvas.toDataURL('image/jpeg', quality)	base64로 압축	약 15~50KB	느림	가장 간단
       canvas.toBlob()	바이너리 Blob (ArrayBuffer)	약 5~30KB	빠름	더 효율적
       WebRTC video track	raw frame stream	크고 복잡	매우 빠름	구현 복잡

       const canvas = document.createElement("canvas");
       const ctx = canvas.getContext("2d");
       canvas.width = 224;
       canvas.height = 224;
       
       setInterval(() => {
         ctx.drawImage(video, 0, 0, canvas.width, canvas.height);
         const dataURL = canvas.toDataURL("image/jpeg", 0.5); // 압축! 0.0~1.0
         sendImageToBackend(dataURL);
       }, 1000); // 1초마다
       

    3. WebSocket으로 보내기

       const socket = new WebSocket("ws://localhost:8000/ws");
       
       function sendImageToBackend(dataURL) {
         const base64 = dataURL.split(',')[1]; // 헤더 제거
         socket.send(base64);
       }
       
       socket.onmessage = (e) => {
         const result = JSON.parse(e.data);
         console.log("예측 결과:", result);
       };
       

• 당도 (객체, 색상) 추론 → Brix(FE)

  • Mask-R CNN

  Mask-R-CNN 모델 관련

당도 측정 과정에서 신경 쓴 UI/UX

• 흔들어서 앱 동작
• 당도에 따른 햅틱 진동
• AR 구현 계획(FE)

MVP

• 마트에 들어가서 과일을 살 때 휴대전화 카메라를 꺼내 당도를 측정하는 과정

  → 생성형 AI를 이용한 짧은 동영상 활용 가능

향후 발전 계획

• RGB 외 요소 고려(채도, 명도 등)
• 과일의 종류 추가
• 각 과일의 Detail