AI-Hub

데이터 변경이력

데이터 히스토리

소개

당뇨관리 앱을 통해 수집된 200여종 50만장의 음식 이미지를 바운딩박스로 라벨링한 인공지능 학습용 데이터와 당뇨병 환자의 음식 섭취와 관련된 혈당 측정치 30,000여건의 학습용 식생활 데이터

구축목적

모바일 앱을 통한 음식 이미지 인식 및 영양분석을 위한 학습데이터 구축
당뇨관리를 위한 당뇨병 환자의 식생활에 따른 혈당 측정 데이터 구축

1. 데이터 구축 규모

ㅇ 음식 이미지 데이터와 혈당 데이터가 수집/가공되었으며, 총 규모는 다음과 같다

2) 데이터 분포 

ㅇ 음식 이미지 데이터

ㅇ 혈당 데이터
   · 성별에 따른 분포

·연령에 따른 분포

3) 데이터 구축 유의사항
ㅇ 이미지 데이터의 저작권 문제를 해소하기 위해 수집 방법에 따라 체계적인 검증과정을 준수하여 진행함
- 전문 이미지 제공업체와의 계약을 통한 음식 이미지 수집 시 라이선스 및 저작권 문제 해결
- 기존 AI Hub data의 경우 사용권 승인 수령 
- 이미지 촬영 크라우드 워커 대상 계약 시 동의서 수령
- 이미지 데이터 수집 절차 및 구축, 배포 시 저작권 침해 여부, 소유권 관련 내용을 외부 전문가(변호사)의 법률 자문을 통한 동의서, 계약서 검토 의뢰를 통해 확인함 
- 음식 이미지의 경우 식별 가능한 사람의 얼굴이 촬영될 가능성은 적으나 만일 촬영될 경우 GIMP 이미지 편집 툴로 얼굴 부분을 잘라내거나 모자이크, 블러링 처리하여 비식별화를 수행한다. 비식별화 결과는 검수자가 전수 검사를 진행한다.
ㅇ 임상 데이터는 대상자의 동의를 거치고, 익명화 처리함 
- 임상연구 IRB 의 경우 정해진 절차에 따른 심사를 거치고 대상자에게 동의서 수집
5. 원시데이터 특성
1) 대상분류
ㅇ 음식 이미지 : 실제
ㅇ 임상 데이터 : 실제
2) 제약조건
ㅇ 음식 이미지 : 제약없음
ㅇ 임상 데이터 : 일부 제약있음(임상연구계획서에 따라 표준조식 제공)
3) 속성
ㅇ 포맷 : JPG, PNG
ㅇ 최저 해상도 : 640x640 이상
ㅇ 음식 정보 : 음식명

6.기타 정보
1) 포괄성
ㅇ 식품 종류는 한국인이 많이 소비하는 식품 중심으로 수집하기 위해 ‘국민건강영양조사’ 내 다빈도 식품 리스트를 참고했고, 기존에 수집했던 식품 리스트와 중복되지 않도록 선정함 
2) 독립성
ㅇ 임상 데이터 : 임상 연구로 얻는 데이터는 민감정보(설문조사 기록, 관찰 기록, 임상검사 기록 등)에 해당하므로 익명화를 통해 제공 

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

5. 학습 모델
(1) 음식이미지 학습
학습 모델 후보 
  ㅇ 음식 이미지 인식을 위해 신규 음식 204종의 이미지 537,209장을 YOLOv5l 모델을 사용하여 학습함
ㅇ 음식 이미지 인식 성능은 수행계획서의 성능 목표 mAP@0.5 80%를 상회한 mAP@0.5 86.5% 달성

1) YOLOv5 소개
ㅇ YOLOv5는 현재 object detection 분야에서 가장 많이 이용되고 있는 모델
ㅇ trade-off 관계인 인식 성능과 인식 속도를 합리적인 수준에서 만족시키는 모델
ㅇ 모델의 크기에 따라서 YOLOv5s(small), YOLOv5m(medium), YOLOv5l(large),  YOLOv5x(xlarge)의 4가지 모델이 있음. s는 인식 성능이 제일 낮지만 초당 처리 프레임 (Frames Per Second: FPS)이 가장 높고, x는 인식 성능이 제일 높지만, FPS가 가장 낮음
ㅇ 이번 과제에서는 속도보다는 성능을 고려하여 YOLOv5l (large) 모델을 사용
ㅇ 학습 방법
  - YOLOv5의 손실 함수는 다음과 같이 3가지 손실 함수의 조합으로 구성
       ·Classes loss: Lcls
       ·Objectness loss: Lobj
       ·Location loss: Lloc

  - YOLOv5의 손실함수를 Stochastic Gradient Descent Optimizer를 사용하여 최소화하는 방식으로 학습 진행
   ㅇ Evaluation Metric
     - 수행계획서의 성능 목표 mAP@0.5 80%를 상회한 mAP@0.5 86.5% 달성
(2) 임상 혈당 예측 학습
1) PyCaret 소개
  ㅇ PyCaret은 기존에 있던 Scikit-learn, XGBoost, LightGBM, spaCy 등 여러가지 머신러닝 라이브러리를 High-Level API로 제작한 라이브러리
  ㅇ Open source, low-code machine learning 라이브러리
  ㅇ 데이터 생성, 모델 생성 및 비교, 모델 최적화, 학습된 모델 분석의 기계학습 전단계에 대한 라이브러리를 제공하여 신속하고 간단하게 AI 모델 구축
             
2) 혈당 예측을 위한 학습
  ㅇ 모델 아키텍쳐
   - PyCaret 라이브러리에서 제공하는 Gradient Boost 기반의 회귀 모델과 Decision Tree, Random Forest, Extree Trees 등의 의사 결정 나무(Decision Tree) 계열의 모델의 정확도(MAPE) 비교
   - MAPE 상위 5종 모델 선정 후, 모델 5종을 blend, tuning, finalize 하여 최종 모델 구성

  ㅇ 모델 입력
   - 혈당 예측을 위해 혈액 검사 데이터, 신체 계측 데이터, 식사시 섭취한 영양 데이터, 수면 데이터, 신체 활동 데이터 및 혈당 측정 일시와 혈당 데이터를 입력
   - 이 외에도 식전 3, 6, 9, 12시간 이내 탄수화물 섭취량, 식전 2, 3, 6, 9, 12시간 이내 섭취 열량, 식전 12, 24시간 이내 식이 섬유 섭취량 등 기초 데이터로부터 생성 가능한 데이터들을 추가로 생성하여 입력
   - 현재 학습을 위해 사용한 feature는 총 95개로 임상 대상자 별로 약 4건/시간 * 24시간 * 14일 = 1,300 여건의 혈당 측정 데이터 생성

데이터 성능 점수

설명서 및 활용가이드 다운로드

 1.원천 데이터 규모
ㅇ 원천데이터는 수집한 원시데이터를 정제하며 식품 분류 체계에 맞도록 파일 및 폴더 구조를 갖도록 함
● 원천데이터 포맷
- 포맷 : JPG, PNG
- 최저 해상도 : 640x640 이상
- 컬러심도 : 8bit 이상 컬러 이미지
- 음식 정보 : 음식명
● 원천데이터 규모 : 음식 200여종 이상, 50만장 이상 
● 원천데이터 작업 종류
- 중복, 오류 제거
- 비식별화, 원천데이터 규모를 산정하여 작성
ㅇ 원천데이터는 수집한 원시데이터를 정제하고 임상 데이터 통합 프로그램을 활용해 통합 데이터를 획득함 
● 원천데이터 포맷
- 포맷 : csv, xlsx 형태
2.어노테이션 포맷 설명 

1)음식 이미지 라벨

2)메타 데이터 라벨

3) 임상 데이터 라벨

3.데이터 구성

1) 음식 이미지 데이터

- 당뇨앱에 활용할 것을 고려하여, 한국인이 많이 소비하는 음식 중심으로 데이터를 수집하기 위하여 ‘17년 ~ ’20년의 4년간 실시된 ‘국민건강영양조사’의 식품리스트에 있는 200만 종의 음식을 대상으로 하여, 총 조사 대상 약 3만 명을 기준으로 0.1%에 해당하는 인원이 섭취한 음식 종류를 선별함 
- 이 과정에서 약 1,000종의 음식 종류가 선별되었고, 기존 AI Hub 음식이미지에 있는 500여 종을 제외하여 기존 데이터와 중복되지 않는 500여 종을 수집 대상 음식으로 선정함 
- 실생활 활용도에 따라 29개 대분류로 구분(식품분류체계 적용)하고 음식 종류와 특성에 
  따라 세분화하여 데이터 관리하여 편항성을 극복함
- 음식 이미지를 촬영하여 제공하는 크라우드 워커 대상으로 AI Hub 웹사이트에 올리고 
  활용될 수 있도록 전원에게 ‘저작물 활용 동의서’를 수령하여 저작권 관련 문제를 해소함

2) 음식 이미지 획득 절차 

음식 이미지는 하기 표와 같이 크게 세 가지 경로를 통해 획득하였다. 

3) 이미지 검수 
ㅇ 촬영된 이미지는 1) Visipics를 통한 기존 데이터베이스에 있는 이미지와의 중복 여부 검토 2) 작업자 직접 육안 검사를 통한 촬영기준 부합 여부 검토로 적/부 판정을 내린 후 
   최종적으로 사용여부를 결정하여 적정성을 확보하였다.
 

데이터셋 구축 담당자

수행기관(주관) : ㈜채널헬스케어

수행기관(참여)

데이터 관련 문의처