AI-Hub

데이터 변경이력

데이터 히스토리

소개

자율주행/인포테인먼트 AI 서비스의 개발 및 고도화를 위한 차량 내 탑승자 상황 인식 영상 데이터

구축목적

바운딩박스 객체 인식(이상행동 7종 분류)

1. 운전자 및 탑승자 상태 및 이상행동 모니터링을 위한 센서 데이터

• 데이터 구축 규모

  1. 운전자 및 탑승자 상태 및 이상행동 모니터링을 위한 센서 데이터

  작업 범위	파일 확장자	데이터 구축량
  이상행동 영상 데이터	MP4 (영상 파일)	500,000건
  이상행동 이미지	JPG (이미지 파일)	2,500,000장
  어노테이션 데이터	JSON (메타데이터, 행동/감정 정보, 센서 데이터)	500,000건

• 데이터 분포
  • 이상행동 분포
    가) 이상행동 7종(졸음운전, 음주운전, 물건찾기, 통화, 휴대폰 조작, 차량 제어, 운전자 폭행) 총 503,502건
  • 감정 분포
    가) 감정 데이터 5종(기쁨, 분노, 놀람, 슬픔, 중립) 동일 비율(기쁨:분노:놀람:슬픔:중립=20%:20%:20%:20%:20%)로 항목별 503,502건, 총 2,517,399건

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

1. 활용 모델

• 운전자 및 탑승자 상태 및 이상행동 모니터링을 위한 센서 데이터
   1) 모델 학습
    가) 차량 내부 환경에서 운전자/탑승자 상태 및 이상행동을 판별하는 모델 개발
    나) 영상, 센서, 감정 정보, 행동 정보의 다양한 정보를 수집하여 차량 내부 인식 데이터 셋을 구축함으로써 차량 내 탑승자의 이상행동을 판별하기 위한 정확도 향상 
    다) 이상행동 인식에 관련되어 진행된 연구를 통해 단일 종류의 데이터만으로는 이상행동의 정확한 인식에 대해 높은 성능으로 기대하기 어렵고 다양한 시계열 데이터를 필요
    라) 이상행동 인식 데이터 세트로 대표적으로 쓰이는 AUC 기준을 통해 모델 베이스 성능 확인하여 점수가 가장 높은 4가지 모델을 선정 후 모델 평가 및 분석을 통해 적합한 TSN(ResNet) 모델을 최종 선정

  1. 활용 모델

  모델 목적	AI 모델	지표	성능 목표	입력	출력
  이상행동 분류	TSN(ResNet)	F1-score	0.7 이상	이미지, 이상행동 클래스, 이미지 별 세부행동	이상행동 클래스

   
  마) TSN(ResNet)모델은 새로운 세그먼트 기반 샘플링 및 집계 모듈을 사용하여 장거리 시간 구조를 모델링하는 것을 목표로 합니다. 이 독특한 디자인을 통해 TSN은 전체 액션 비디오를 사용하여 액션 모델을 효율적으로 학습할 수 있습니다.
•  2) 이상행동 인식모델 학습 프로세스
   
    가) 데이터 전처리 단계에서 모델 학습을 위한 시계열 데이터를 입력하고 특징 추출
    나) 이상행동 인식 모델 학습 단계에서는 특징이 추출된 시계열 데이터를 입력 받아 이상행동 인식을 위한 모델 학습을 수행
    다) 이상행동 인식 추론 과정을 통해 이상행동을 추정하고 학습된 모델의 정확도(AUC)를 측정하여 성능 및 유효성을 검증
    라) 모델 학습 검증, 평가에 사용되는 데이터는 중복 항목이 없도록 처리, 각종 논문 등을 참고하여 학습용, 검증용, 평가용 데이터를 8:1:1 비율로 분할하여 수행

2. 서비스 활용 시나리오

• 운전자 및 탑승자 상태 및 이상행동 모니터링을 위한 센서 데이터
   1) 인공지능 서비스의 개발 및 사업화
    가) 구축된 인공지능 데이터셋을 기반으로 인공지능 알고리즘 개발, 자율주행 관련 서비스 구현 및 API 배포를 목적
    나) 이상행동 인식 기술을 접목하여 차량 내 모니터링을 통한 위험 감지 시스템 구축에 활용 가능
   2) 대외 공개를 통한 기술혁신 지원 방안
    가) 데이터셋은 전체 100%를 기준으로 학습 80%, 검증 10%, 테스트 10%로 분할하여 구축
    나) 구축된 데이터셋은 중간점검 기준으로 40%이상 활용하고, 최종적으로 100%를 모두 활용한 모델을 구축
    다) 본 과제를 통해 구축된 데이터와 베이스 모델을 활용하여 학습된 인공지능 모델에 사용된 아키텍처 등 응용 모델 개발에 활용 가능한 정보를 공개, 구축된 데이터 활용 예시를 다양한 매체를 통해 공유

3. 기타 정보

• 독립성
  1) 개인정보 처리 및 개인정보 유출
    가) 개인정보 비식별 조치 가이드라인을 준수하여 비식별화 기술 적용
    나) Distinguish ability, Inference Attack 등 ISO/IEC 20889 표준 문서에서 규정하는 개인정보 재식별 공격에 대비하여 비식별화 조치 수행
    다) 수집 및 구축된 전체 데이터에서 표본추출 및 통계처리를 통해 개인정보 탐지 알고리즘 개발
    라) 개인정보의 형태 및 종류에 따라 결정성 암호화, 순서보존 암호화, 형식보존 암호화, 동형 암호화, 동형 비밀분산 기법을 적용하여 데이터 암호화
    마) 개인정보의 형태 및 종류에 따라 마스킹, 로컬삭제, 레코드 삭제와 같은 다양한 삭제 기법 적용
    바) 개인정보의 형태 및 종류에 따라 라운딩, 상하단코딩, 속성집합을 단일 속성값으로 결합, 로컬 일반화와 같은 일반화 기술 적용
    사) 개인정보의 형태 및 종류에 따라 잡음추가, 순열, 미세집합과 같은 무작위화 기술 적용
    아) 전문 인력으로 구성된 내부 그룹을 활용하여 개인정보 탐지 알고리즘에 탐지 되지 않은 개인정보들에 대한 암호화 진행
    자) 공개된 데이터 셋에 대해 개인정보 삭제에 대한 요청이 있을 시 즉시 삭제 처리하며 필요 시 운영기관과 적정성 판단을 위한 논의 수행 예정
   2) 지식재산권
    가) 데이터 수집에 참가한 사람들과의 계약에 지식재산권과 초상권에 대한 항목을 추가하여 데이터셋에 대한 지식재산권과 초상권 확보

4. 제약사항

• 센서데이터에 대한 제약사항
   1) 작업자의 안전을 위하여 모든 데이터는 실제 상황이 아닌 연출된 데이터로 취득되어 의료, 정밀데이터로 활용이 어려움
   2) 센서 데이터의 정밀 취득은 움직임이 없어야 하지만, 움직이는 환경에서 관측된 데이터로서 비정상적인 데이터가 포함됨

데이터 성능 점수

설명서 및 활용가이드 다운로드

1. 데이터 포맷

• 운전자 및 탑승자 상태 및 이상행동 모니터링을 위한 센서 데이터
  • 원천 데이터 포맷
    가) 차량 내에서 발생할 수 있는 이상행동에 대해 촬영 영상 데이터 (*.mp4)
    나) 영상 데이터에서 추출한 프레임 이미지 데이터 (*.jpg)
  • AI 학습용 데이터 포맷
    가) 원천데이터를 AI 학습에 활용할 수 있도록 가공한 데이터 (*.json)

데이터 분류	데이터 예시	JSON 형식
video data
image data

[운전자 및 탑승자 상태 및 이상행동 모니터링을 위한 데이터 구조]

2. 데이터 구성

• 운전자 및 탑승자 상태 및 이상행동 모니터링을 위한 센서 데이터

  Key	Description	Type
  description	데이터셋 이름	String
  video_id	파일 고유번호	String
  creator	데이터셋 구축자	String
  distributor	데이터셋 제공자	String
  date	촬영날짜	String
  scene_id	장면 고유번호	String
  category_id	이상행동 고유번호	String
  category_name	이상행동 종류	String
  occupant_id	탑승자 id	String
  occupant_age	탑승자 연령	String
  occupant_sex	탑승자 성별	String
  occupant_position	탑승자 위치	String
  sensor	센서데이터 정보	Array
  occupant_id	탑승자 id	string
  ECG	심전도	Number
  EEG	뇌파	Array
  PPG	심박수	Number
  SPO2	산소포화도	Number
  data	학습용데이터 이미지 정보	Array
  img_name	이미지 고유이름	String
  occupant	탑승자 정보	Array
  occupant_id	탑승자 고유번호	String
  body_b_box	몸 바운딩박스 정보	Array
  face_b_box	얼굴 바운딩박스 정보	Array
  action	행동	String
  emotion	감정	String

3. 어노테이션 포맷

• 운전자 및 탑승자 상태 및 이상행동 모니터링을 위한 센서 데이터

  No				항목		타입	필수여부	비고
  				한글명	영문명
  1				학습용 데이터 메타정보	metadata	Object
  	1–1			데이터셋 이름	description	String	Y	[monitoring_data, interface_data]
  	1–2			파일 고유번호	video_id	String	Y
  	1–3			데이터셋 구축자	creator	String	N	[광주인공지능센터, 디투리소스, 으뜸정보기술, 파파모빌리티]
  	1–4			데이터셋 제공자	distributor	String	N	[광주인공지능센터, 디투리소스, 으뜸정보기술, 파파모빌리티]
  	1–5			촬영날짜	date	String	N	yyyyMMdd
  2				장면정보	scene_info	Object
  	2–1			장면 고유번호	scene_id	String	Y
  	2–2			이상행동 고유번호	category_id	String	Y	[A001, A002, A003, A004, A005, A006, A007]
  	2–3
  	2–4			이상행동 종류	category_name	String	Y	[졸음운전, 음주운전, 물건찾기, 통화, 휴대폰조작, 차량제어, 운전자폭행]
  	2–5
  3				탑승자정보	occupant_info	Array
  	3–1			탑승자 id	occupant_id	String	Y	max_length : 9
  	3–2			탑승자 연령	occupant_age	String	Y	[20대, 30대, 40대, 50대, 60대_이상, 기타]
  	3–3			탑승자 성별	occupant_sex	String	Y	[M, F, N]
  	3–4			탑승자 위치	occupant_position	String	N	[front, back]
  4				학습용 데이터 구간정보	scene	Object
  	4–1			센서데이터 정보	sensor	Array		-
  		4–1–1		탑승자 id	occupant_id	String	Y	max_length : 9
  		4–1–2		심전도	ECG	Number	Y	[-255 ~ 255]
  		4–1–3		뇌파	EEG	Array	Y	max_length : 2
  		4–1–4		심박수	PPG	Number	Y	[-255 ~ 255]
  		4–1–5		산소포화도	SPO2	Number	Y	[80 ~ 100]
  	4–2			학습용 데이터 이미지 정보	data	Array
  		4–2–1		이미지 고유 이름	img_name	String	Y
  		4–2–2		탑승자 정보	occupant	Array
  			4–2–2–1	탑승자 고유번호	occupant_id	String	Y	max_length : 9
  			4–2–2–2	몸 바운딩박스 정보	body_b_box	Array	Y	max_length : 4
  			4–2–2–3	얼굴 바운딩박스 정보	face_b_box	Array	N	max_length : 4
  			4–2–2–4	행동	action	String	Y	[고개를돌리다, 고개를좌우로흔들다, 꾸벅꾸벅졸다, 눈깜빡이기, 눈비비기, 목을만지다, 몸못가누기, 몸을돌리다, 무언가를마시다, 무언가를보다, 무언가를쥐다, 물건을쥐다/휘두르다, 박수치다, 뺨을때리다, 손을뻗다, 어깨를두드리다, 옆으로기대다, 운전자를향해발을뻗다, 운전자를향해손을뻗다, 운전자의핸들조작방해하기, 운전하다, 일어서다, 중앙으로손을뻗다, 중앙을쳐다보기, 차량의문열기, 창문을열다, 침뱉기, 팔주무르기, 하품, 핸드폰귀에대기, 핸드폰쥐기, 핸들을놓치다, 핸들을흔들다, 허리굽히다, 허벅지두드리기, 힐끗거리다]
  			4–2–2–5	감정	emotion	String	N	[기쁨, 분노, 놀람, 슬픔, 중립]

4. 실제 예시

운전자 및 탑승자 상태 및 이상행동 모니터링을 위한 센서 데이터	차량 내 인터페이스 개선을 위한 멀티 모달 센서 데이터

데이터셋 구축 담당자

수행기관(주관) : ㈜티디엘

수행기관(참여)

데이터 관련 문의처