콘텐츠로 건너뛰기 메뉴로 건너뛰기 푸터로 건너뛰기
데이터를 불러오고 있습니다
데이터를 저장하고 있습니다
#이상행동 # 자율주행 # 교통 # 모빌리티/안전

운전자 및 탑승자 상태 및 이상행동 모니터링

운전자 및 탑승자 상태 및 이상행동 모니터링
  • 분야교통물류
  • 유형 오디오 , 이미지 , 비디오
구축년도 : 2021 갱신년월 : 2023-03 조회수 : 31,955 다운로드 : 619 용량 :
샘플 데이터 ?

샘플데이터는 데이터의 이해를 돕기 위해 별도로 가공하여 제공하는 정보로써 원본 데이터와 차이가 있을 수 있으며,
데이터에 따라서 민감한 정보는 일부 마스킹(*) 처리가 되어 있을 수 있습니다.

※ 내국인만 데이터 신청이 가능합니다.

  • 데이터 변경이력

    데이터 변경이력
    버전 일자 변경내용 비고
    1.2 2023-03-14 원천데이터 및 라벨링데이터 수정
    1.1 2023-02-09 원천데이터 및 라벨링데이터 수정
    1.0 2022-07-29 데이터 최초 개방

    데이터 히스토리

    데이터 히스토리
    일자 변경내용 비고
    2023-09-20 AI 모델 사용설명서 수정
    2023-03-30 담당자 변경
    2023-03-17 AI 모델 사용설명서 및 AI 모델 등록
    2023-03-16 저작도구등록
    2022-10-13 신규 샘플데이터 개방
    2022-07-29 콘텐츠 최초 등록

    소개

    자율주행/인포테인먼트 AI 서비스의 개발 및 고도화를 위한 차량 내 탑승자 상황 인식 영상 데이터

    구축목적

    바운딩박스 객체 인식(이상행동 7종 분류)
  • 1. 운전자 및 탑승자 상태 및 이상행동 모니터링을 위한 센서 데이터

    • 데이터 구축 규모
      1. 운전자 및 탑승자 상태 및 이상행동 모니터링을 위한 센서 데이터
      작업 범위 파일 확장자 데이터 구축량
      이상행동 영상 데이터 MP4
      (영상 파일)
      500,000건
      이상행동 이미지 JPG
      (이미지 파일)
      2,500,000장 
      어노테이션 데이터 JSON
      (메타데이터, 행동/감정 정보, 센서 데이터)
      500,000건
    • 데이터 분포
      • 이상행동 분포
        가) 이상행동 7종(졸음운전, 음주운전, 물건찾기, 통화, 휴대폰 조작, 차량 제어, 운전자 폭행) 총 503,502건
      • 감정 분포
        가) 감정 데이터 5종(기쁨, 분노, 놀람, 슬픔, 중립) 동일 비율(기쁨:분노:놀람:슬픔:중립=20%:20%:20%:20%:20%)로 항목별 503,502건, 총 2,517,399건
  • 저작도구 설명서 및 저작도구 다운로드

    저작도구 설명서 다운로드 저작도구 다운로드
  • AI 모델 상세 설명서 다운로드

    AI 모델 다운로드 AI 모델 상세 설명서 다운로드

    1. 활용 모델

    • 운전자 및 탑승자 상태 및 이상행동 모니터링을 위한 센서 데이터
       1) 모델 학습
        가) 차량 내부 환경에서 운전자/탑승자 상태 및 이상행동을 판별하는 모델 개발
        나) 영상, 센서, 감정 정보, 행동 정보의 다양한 정보를 수집하여 차량 내부 인식 데이터 셋을 구축함으로써 차량 내 탑승자의 이상행동을 판별하기 위한 정확도 향상 
        다) 이상행동 인식에 관련되어 진행된 연구를 통해 단일 종류의 데이터만으로는 이상행동의 정확한 인식에 대해 높은 성능으로 기대하기 어렵고 다양한 시계열 데이터를 필요
        라) 이상행동 인식 데이터 세트로 대표적으로 쓰이는 AUC 기준을 통해 모델 베이스 성능 확인하여 점수가 가장 높은 4가지 모델을 선정 후 모델 평가 및 분석을 통해 적합한 TSN(ResNet) 모델을 최종 선정
      1. 활용 모델
      모델 목적 AI 모델 지표 성능 목표 입력 출력
      이상행동 분류 TSN(ResNet) F1-score 0.7 이상 이미지, 이상행동 클래스, 이미지 별 세부행동 이상행동 클래스
      운전자 및 탑승자 상태 및 이상행동 모니터링-활용 모델_1_모델 학습 
      마) TSN(ResNet)모델은 새로운 세그먼트 기반 샘플링 및 집계 모듈을 사용하여 장거리 시간 구조를 모델링하는 것을 목표로 합니다. 이 독특한 디자인을 통해 TSN은 전체 액션 비디오를 사용하여 액션 모델을 효율적으로 학습할 수 있습니다.
    •  2) 이상행동 인식모델 학습 프로세스
       운전자 및 탑승자 상태 및 이상행동 모니터링-활용 모델_2_이상행동 인식모델 학습 프로세스
        가) 데이터 전처리 단계에서 모델 학습을 위한 시계열 데이터를 입력하고 특징 추출
        나) 이상행동 인식 모델 학습 단계에서는 특징이 추출된 시계열 데이터를 입력 받아 이상행동 인식을 위한 모델 학습을 수행
        다) 이상행동 인식 추론 과정을 통해 이상행동을 추정하고 학습된 모델의 정확도(AUC)를 측정하여 성능 및 유효성을 검증
        라) 모델 학습 검증, 평가에 사용되는 데이터는 중복 항목이 없도록 처리, 각종 논문 등을 참고하여 학습용, 검증용, 평가용 데이터를 8:1:1 비율로 분할하여 수행

    2. 서비스 활용 시나리오

    • 운전자 및 탑승자 상태 및 이상행동 모니터링을 위한 센서 데이터
       1) 인공지능 서비스의 개발 및 사업화
        가) 구축된 인공지능 데이터셋을 기반으로 인공지능 알고리즘 개발, 자율주행 관련 서비스 구현 및 API 배포를 목적
        나) 이상행동 인식 기술을 접목하여 차량 내 모니터링을 통한 위험 감지 시스템 구축에 활용 가능
       2) 대외 공개를 통한 기술혁신 지원 방안
        가) 데이터셋은 전체 100%를 기준으로 학습 80%, 검증 10%, 테스트 10%로 분할하여 구축
        나) 구축된 데이터셋은 중간점검 기준으로 40%이상 활용하고, 최종적으로 100%를 모두 활용한 모델을 구축
        다) 본 과제를 통해 구축된 데이터와 베이스 모델을 활용하여 학습된 인공지능 모델에 사용된 아키텍처 등 응용 모델 개발에 활용 가능한 정보를 공개, 구축된 데이터 활용 예시를 다양한 매체를 통해 공유


    3. 기타 정보

    • 독립성
      1) 개인정보 처리 및 개인정보 유출
        가) 개인정보 비식별 조치 가이드라인을 준수하여 비식별화 기술 적용
        나) Distinguish ability, Inference Attack 등 ISO/IEC 20889 표준 문서에서 규정하는 개인정보 재식별 공격에 대비하여 비식별화 조치 수행
        다) 수집 및 구축된 전체 데이터에서 표본추출 및 통계처리를 통해 개인정보 탐지 알고리즘 개발
        라) 개인정보의 형태 및 종류에 따라 결정성 암호화, 순서보존 암호화, 형식보존 암호화, 동형 암호화, 동형 비밀분산 기법을 적용하여 데이터 암호화
        마) 개인정보의 형태 및 종류에 따라 마스킹, 로컬삭제, 레코드 삭제와 같은 다양한 삭제 기법 적용
        바) 개인정보의 형태 및 종류에 따라 라운딩, 상하단코딩, 속성집합을 단일 속성값으로 결합, 로컬 일반화와 같은 일반화 기술 적용
        사) 개인정보의 형태 및 종류에 따라 잡음추가, 순열, 미세집합과 같은 무작위화 기술 적용
        아) 전문 인력으로 구성된 내부 그룹을 활용하여 개인정보 탐지 알고리즘에 탐지 되지 않은 개인정보들에 대한 암호화 진행
        자) 공개된 데이터 셋에 대해 개인정보 삭제에 대한 요청이 있을 시 즉시 삭제 처리하며 필요 시 운영기관과 적정성 판단을 위한 논의 수행 예정
       2) 지식재산권
        가) 데이터 수집에 참가한 사람들과의 계약에 지식재산권과 초상권에 대한 항목을 추가하여 데이터셋에 대한 지식재산권과 초상권 확보

    4. 제약사항

    • 센서데이터에 대한 제약사항
       1) 작업자의 안전을 위하여 모든 데이터는 실제 상황이 아닌 연출된 데이터로 취득되어 의료, 정밀데이터로 활용이 어려움
       2) 센서 데이터의 정밀 취득은 움직임이 없어야 하지만, 움직이는 환경에서 관측된 데이터로서 비정상적인 데이터가 포함됨
  • 데이터 성능 점수

    측정값 (%)
    기준값 (%)

    데이터 성능 지표

    데이터 성능 지표
    번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수
    1 이상 행동 분류 Image Classification TSN F1-Score 0.7 0.9892

    ※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.

    ※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)

  • 설명서 및 활용가이드 다운로드

    데이터 설명서 다운로드 구축활용가이드 다운로드

    1. 데이터 포맷

    • 운전자 및 탑승자 상태 및 이상행동 모니터링을 위한 센서 데이터
      • 원천 데이터 포맷
        가) 차량 내에서 발생할 수 있는 이상행동에 대해 촬영 영상 데이터 (*.mp4)
        나) 영상 데이터에서 추출한 프레임 이미지 데이터 (*.jpg)
      • AI 학습용 데이터 포맷
        가) 원천데이터를 AI 학습에 활용할 수 있도록 가공한 데이터 (*.json)
    1. 데이터 포맷
    AI 학습용 데이터
    형태 JSON
    정보 메타 정보 : 데이터셋 이름, 파일 고유 번호, 데이터셋 구축자, 데이터셋 제공자
    장면 정보 : 장면 고유번호, 이상행동 고유번호, 이상행동 종류
    탑승장 정보 : 탑승자 id, 연령, 성별, 위치
    구간 정보 : 센서데이터 정보(탑승자별 심전도, 뇌파, 심박수, 산소포화도), 이미지 정보(탑승자별 몸 바운딩박스 정보, 얼굴 바운딩박스 정보, 행동, 감정)
    데이터 분류 데이터 예시 JSON 형식
    video
    data
    운전자 및 탑승자 상태 및 이상행동 모니터링-데이터 포맷_1_video data 데이터 예시 운전자 및 탑승자 상태 및 이상행동 모니터링-데이터 포맷_2_JSON 형식
    image
    data
    운전자 및 탑승자 상태 및 이상행동 모니터링-데이터 포맷_3_image data 데이터 예시

    [운전자 및 탑승자 상태 및 이상행동 모니터링을 위한 데이터 구조]

     

    2. 데이터 구성

    • 운전자 및 탑승자 상태 및 이상행동 모니터링을 위한 센서 데이터
      Key Description Type
      description 데이터셋 이름 String
      video_id 파일 고유번호 String
      creator 데이터셋 구축자 String
      distributor 데이터셋 제공자 String
      date 촬영날짜 String
      scene_id 장면 고유번호 String
      category_id 이상행동 고유번호 String
      category_name 이상행동 종류 String
      occupant_id 탑승자 id String
      occupant_age 탑승자 연령 String
      occupant_sex 탑승자 성별 String
      occupant_position 탑승자 위치 String
      sensor 센서데이터 정보 Array
      occupant_id 탑승자 id string
      ECG 심전도 Number
      EEG 뇌파 Array
      PPG 심박수 Number
      SPO2 산소포화도 Number
      data 학습용데이터 이미지 정보 Array
      img_name 이미지 고유이름 String
      occupant 탑승자 정보 Array
      occupant_id 탑승자 고유번호 String
      body_b_box 몸 바운딩박스 정보 Array
      face_b_box 얼굴 바운딩박스 정보 Array
      action 행동 String
      emotion 감정 String

    3. 어노테이션 포맷

    • 운전자 및 탑승자 상태 및 이상행동 모니터링을 위한 센서 데이터
      No 항목 타입 필수여부 비고
          한글명 영문명      
      1 학습용 데이터 메타정보 metadata Object    
        1–1 데이터셋 이름 description String Y [monitoring_data, interface_data]
      1–2 파일 고유번호 video_id String Y  
      1–3 데이터셋 구축자 creator String N [광주인공지능센터, 디투리소스, 으뜸정보기술, 파파모빌리티]
      1–4 데이터셋 제공자 distributor String N [광주인공지능센터, 디투리소스, 으뜸정보기술, 파파모빌리티]
      1–5 촬영날짜 date String N yyyyMMdd
      2 장면정보 scene_info Object    
        2–1 장면 고유번호 scene_id String Y  
      2–2 이상행동 고유번호 category_id String Y [A001, A002, A003, A004,
      A005, A006, A007] 
      2–3
      2–4 이상행동 종류 category_name String Y [졸음운전, 음주운전, 물건찾기, 통화,
      휴대폰조작, 차량제어, 운전자폭행]
      2–5
      3 탑승자정보 occupant_info Array    
        3–1 탑승자 id occupant_id String Y max_length : 9
      3–2 탑승자 연령 occupant_age String Y [20대, 30대, 40대, 50대, 60대_이상, 기타]
      3–3 탑승자 성별 occupant_sex String Y [M, F, N]
      3–4 탑승자 위치 occupant_position String N [front, back]
      4 학습용 데이터 구간정보 scene Object    
        4–1 센서데이터 정보 sensor Array   -
        4–1–1 탑승자 id occupant_id String Y max_length : 9
      4–1–2 심전도 ECG Number Y [-255 ~ 255]
      4–1–3 뇌파 EEG Array Y max_length : 2
      4–1–4 심박수 PPG Number Y [-255 ~ 255]
      4–1–5 산소포화도 SPO2 Number Y [80 ~ 100]
      4–2 학습용 데이터 이미지 정보 data Array    
        4–2–1 이미지 고유 이름 img_name String Y  
      4–2–2 탑승자 정보 occupant Array    
        4–2–2–1 탑승자 고유번호 occupant_id String Y max_length : 9
      4–2–2–2 몸 바운딩박스 정보 body_b_box Array Y max_length : 4
      4–2–2–3 얼굴 바운딩박스 정보 face_b_box Array N max_length : 4
      4–2–2–4 행동 action String Y [고개를돌리다, 고개를좌우로흔들다, 꾸벅꾸벅졸다, 눈깜빡이기, 눈비비기, 목을만지다, 몸못가누기, 몸을돌리다, 무언가를마시다, 무언가를보다, 무언가를쥐다, 물건을쥐다/휘두르다, 박수치다, 뺨을때리다, 손을뻗다, 어깨를두드리다, 옆으로기대다, 운전자를향해발을뻗다, 운전자를향해손을뻗다, 운전자의핸들조작방해하기, 운전하다, 일어서다, 중앙으로손을뻗다, 중앙을쳐다보기, 차량의문열기, 창문을열다, 침뱉기, 팔주무르기, 하품, 핸드폰귀에대기, 핸드폰쥐기, 핸들을놓치다, 핸들을흔들다, 허리굽히다, 허벅지두드리기, 힐끗거리다]
      4–2–2–5 감정 emotion String N [기쁨, 분노, 놀람, 슬픔, 중립]

    4. 실제 예시

    운전자 및 탑승자 상태 및 이상행동 모니터링을 위한 센서 데이터 차량 내 인터페이스 개선을 위한 멀티 모달 센서 데이터
    운전자 및 탑승자 상태 및 이상행동 모니터링-실제 예시_1_운전자 및 탑승자 상태 및 이상행동 모니터링을 위한 센서 데이터 운전자 및 탑승자 상태 및 이상행동 모니터링-실제 예시_2_차량 내 인터페이스 개선을 위한 멀티 모달 센서 데이터
  • 데이터셋 구축 담당자

    수행기관(주관) : ㈜티디엘
    수행기관(주관)
    책임자명 전화번호 대표이메일 담당업무
    김유신 062-971-2684 loyfor@tdlus.co.kr · 사업총괄 및 사업관리 · 1세부 책임 · 데이터 가공 · 1·2차 검수 · 데이터 품질 관리
    수행기관(참여)
    수행기관(참여)
    기관명 담당업무
    ㈜웨이브에이아이 · 데이터 수집 및 전처리
    · 데이터 정제 및 가공
    ㈜블루인테리전스 · 데이터 수집 및 전처리
    · 데이터 정제 및 가공
    ㈜지엔아이씨티 · 저작도구 개발
    · AI 학습모델 개발
    · 데이터 가공
    · 1차 검수
    ㈜광주인공지능센터 · 2세부 책임
    · 저작도구 개발
    · AI 학습모델 개발
    · 데이터 정제 및 가공
    · 1차 검수
    ㈜파파모빌리티 · 데이터 수집 및 전처리
    · 데이터 정제 및 가공
    · IRB 승인
    ㈜으뜸정보기술 · 데이터 정제 및 가공
    · 1차 검수
    ㈜디투리소스 · 데이터 가공
    · 1차 검수
    · 데이터 품질 관리
    데이터 관련 문의처
    데이터 관련 문의처
    담당자명 전화번호 이메일
    정성효 062-223-1335 SH.Joung@saltlux.com
보건의료 데이터 개방 안내

보건의료 데이터는 온라인 및 오프라인 안심존을 통해 개방됩니다.

안심존이란 안심존 이용메뉴얼 안심존 이용신청
  • 인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
    * 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
    * 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석

    1. AI 허브 접속
      신청자
    2. 안심존
      사용신청
      신청자신청서류 제출*
    3. 심사구축기관
    4. 승인구축기관
    5. 데이터 분석 활용신청자
    6. 분석모델반출신청자
  • 1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
    2. 기관생명윤리위원회(IRB) 승인된 연구계획서
    3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
    4. 안심존 이용 신청서 [다운로드]
    5. 보안서약서 [다운로드]
    ※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다.

  • 신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의

데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.

API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.

리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.

※ 파일 병합 리눅스 명령어

find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"

- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.

- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.

※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.