콘텐츠로 건너뛰기 메뉴로 건너뛰기 푸터로 건너뛰기
데이터를 불러오고 있습니다
데이터를 저장하고 있습니다
#손 동작 # 입술 움직임 # 한국형 신체 말단 움직임

신체 말단 움직임 영상

이미지 대체 텍스트를 입력합니다.
  • 분야영상이미지
  • 유형 비디오
구축년도 : 2020 갱신년월 : 2023-03 조회수 : 4,116 다운로드 : 453 용량 :
샘플 데이터 ?

샘플데이터는 데이터의 이해를 돕기 위해 별도로 가공하여 제공하는 정보로써 원본 데이터와 차이가 있을 수 있으며,
데이터에 따라서 민감한 정보는 일부 마스킹(*) 처리가 되어 있을 수 있습니다.

※ 내국인만 데이터 신청이 가능합니다.

  • 데이터 변경이력

    데이터 변경이력
    버전 일자 변경내용 비고
    1.3 2023-03-31 원천데이터 수정
    1.2 2021-12-01 데이터 추가 개방
    1.1 2021-08-30 데이터 품질 보완
    1.0 2021-06-30 데이터 최초 개방

    데이터 히스토리

    데이터 히스토리
    일자 변경내용 비고
    2022-10-13 신규 샘플데이터 개방

    소개

    3D hand pose와 lip reading을 추정하는 AI개발을 위한 신체말단(손, 입술) 영상 데이터

    구축목적

    다양한 동작의 신체 말단(손, 입술) 움직임 데이터로부터 손 자세 및 발화단어를 도출해낼 수 있도록 인공지능을 훈련하기 위한 데이터셋
  • 구축 내용 및 제공 데이터량

    • 손 데이터
      1. - 다양한 성별과 나이로 구성된 209명의 배우로부터 72개의 동작 데이터를 직접 촬영 방식으로 획득
      2. - 2D 영상 50만 장, 3D 모델 10만 개, 3D 손 자세 10만 개, 손 영역 50만 개로 구성되어 있음

         

        신체 말단 움직임 영상-구축내용표-1
        데이터 종류 2D 영상 3D 모델 3D 손 자세 손 영역
        분량 500,000장 100,000개 100,000개 500,000개
        데이터 구성 Full-HD 영상,카메라파라미터 30K 이상 polygon 21개 관절 위치 6영역 depth 영상 분할
        데이터 포맷 jpg obj 파일 포맷 json 파일 포맷 json 파일 포맷
    • 입술데이터
      1. - 다양한 성별과 나이로 구성된 200명의 배우로부터 1,000개의 단어 발화 영상에 대한 입술 움직임 데이터를 직접 촬영 방식으로 획득
      2. - 2D 영상 50만 장, 3D 모델 10만 개, 2D 입술 키포인트 50만 개로 구성되어 있음

         

        신체 말단 움직임 영상-구축내용표-2
        데이터 종류 2D 영상 2D 입술 데이터 3D 모델
        분량 500,000개 500,000개 100,000개
        데이터 구성 Full-HD 영상,
        카메라 파라미터
        24개
        입술 특징 위치 (x, y)
        3K 이상
        Polygon
        데이터 포맷 mp4 파일 포맷 json 파일 포맷 obj 파일 포맷
  • 저작도구 설명서 및 저작도구 다운로드

    저작도구 설명서 다운로드 저작도구 다운로드
  • AI 모델 상세 설명서 다운로드

    AI 모델 다운로드
  • 데이터 성능 점수

    측정값 (%)
    기준값 (%)

    데이터 성능 지표

    데이터 성능 지표
    번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수
    1 손 데이터 - 3D 관절 유효성 Pose Estimation RootNet, H3Net MPJPE 18 mm 17.8 mm
    2 손 데이터 - 2D 관절 유효성 Pose Estimation RootNet, H3Net PCK 75 % 94 %
    3 입술 데이터 - 2D 관절 유효성 Pose Estimation ResNet-18 RMSE 0.1 mm 0.017 mm
    4 입술 데이터 - 단어 정확도 Estimation Inception v4 WER 10 % 3.5 %

    ※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.

    ※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)

  • 설명서 및 활용가이드 다운로드

    데이터 설명서 다운로드 구축활용가이드 다운로드

    데이터 변경이력

    신체 말단 움직임 영상-데이터변경이력
    버전 일자 변경내용 비고
    1.2 2021.12.01 데이터 추가 개방  
    1.1 2021.08.30 데이터 품질 보완  
    1.0 2021.06.30 데이터 최초 개방  

    구축목적

    • 다양한 동작의 신체 말단(손, 입술) 움직임 데이터로부터 손 자세 및 발화단어를 도출해낼 수 있도록 인공지능을 훈련하기 위한 데이터셋

    활용 분야

    • 손의 움직임을 이용하는 커뮤니케이션 서비스 및 UI
    • 시각장애인을 위한 독순술 및 입술 형태로 추정 가능한 커뮤니케이 션 서비스 및 UI

    소개

    • 본 과제는 손과 입술의 신체 말단의 움직임 영상에 대한 데이터 셋을 구축 하여 손 제스처, 정교한 악기 연주 모션, 독순술 등 VR, AR,MR 등 기반 산업, 3D 엔터테인먼트 산업, 재활 치료 및 질병 예방 등의 의료분야, 장애 인 복지 사업 등에서 활용할 수 있도록 하는 것을 목적으로 함  

    구축 내용 및 제공 데이터량

    • 손 데이터
      1. - 다양한 성별과 나이로 구성된 209명의 배우로부터 72개의 동작 데이터를 직접 촬영 방식으로 획득
      2. - 2D 영상 50만 장, 3D 모델 10만 개, 3D 손 자세 10만 개, 손 영역 50만 개로 구성되어 있음

         

        신체 말단 움직임 영상-구축내용표-1
        데이터 종류 2D 영상 3D 모델 3D 손 자세 손 영역
        분량 500,000장 100,000개 100,000개 500,000개
        데이터 구성 Full-HD 영상,카메라파라미터 30K 이상 polygon 21개 관절 위치 6영역 depth 영상 분할
        데이터 포맷 jpg obj 파일 포맷 json 파일 포맷 json 파일 포맷
    • 입술데이터
      1. - 다양한 성별과 나이로 구성된 200명의 배우로부터 1,000개의 단어 발화 영상에 대한 입술 움직임 데이터를 직접 촬영 방식으로 획득
      2. - 2D 영상 50만 장, 3D 모델 10만 개, 2D 입술 키포인트 50만 개로 구성되어 있음

         

        신체 말단 움직임 영상-구축내용표-2
        데이터 종류 2D 영상 2D 입술 데이터 3D 모델
        분량 500,000개 500,000개 100,000개
        데이터 구성 Full-HD 영상,
        카메라 파라미터
        24개
        입술 특징 위치 (x, y)
        3K 이상
        Polygon
        데이터 포맷 mp4 파일 포맷 json 파일 포맷 obj 파일 포맷

    대표도면

    신체 말단 움직임 영상- 대표도면

    필요성

    • 사람 동작을 이용한 커뮤니케이션 시 표정과 함께 가장 많이 사용되는 신체 부분이 손이므로 손과 입을 이용한 제스처 데이터셋 확보는 우리나라 AI 기술 연구 및 산업 확장에 큰 부분을 이바지할 것으로 예상함
    • 신체 말단을 이용한 제스처 데이터는 주로 외국인을 대상으로 수집 및 공개가 된 경우가 많기에, 한국인을 대상으로 데이터를 수집하고, 우리나라 환경에 맞춰 구조를 설계하는 일련의 과정에 대한 노력이 필요함
    • 독순술 및 수어 등 관련 데이터 셋을 확보하여 인공지능 기술과 결합한 연구개발 인프라를 구축하고, 연구·개발한 결과를 적용한 기술 및 서비스를 사회적 약자인 장애인들에게 보급하는 사회보장 정책이 필요함

    데이터 구조

    • 데이터 구성
      1. 1. 손 데이터
        신체 말단 움직임 영상-데이터구조표-1
        데이터 구성 형태 파일명 규칙
        경로(폴더명) 포멧 데이터
        종류
        라벨링 데이터      
        ┣Annotations   라벨링
        데이터
        ■ JSON 파일(Keypoint)     (action_id)_(actor_id)_(camera_id)_(hand_type)_(frame_idx).json
            ⋅ action_id = 동작별 고유 ID 값
            ⋅ actor_id = 모델 고유 ID 값
            ⋅ camera_id = 카메라 ID
            ⋅ hand_type = 오른손 or 왼손 or 양손
            ⋅ frame_idx = 추출 이미지 프레임 번호

        ■ JSON 파일(Segmentation)     (action_id)_(actor_id)_(camera_id)_(hand_type)_(seg_id)_(frame_idx).json     ⋅ action_id = 동작별 고유 ID 값     ⋅ actor_id = 모델 고유 ID 값     ⋅ camera_id = 카메라 ID     ⋅ hand_type = 오른손 or 왼손 or 양손     ⋅ seg_id = segmentation ID     ⋅ frame_idx = 추출 이미지 프레임 번호
          ┣Action[n]_Actor[k]  
            ┣Camera[1~8]  
              ┣Keypoint json
              ┣Segmentation[1] json
              ┣Segmentation[2] json
              ┣Segmentation[3] json
              ┣Segmentation[4] json
        원천데이터      
        ┣Images   이미지 ■ JPG 파일     (action_id)_(actor_id)_(camera_id)_(hand)_(frame_idx).jpg
            ⋅ action_id = 동작별 고유 ID 값
            ⋅ actor_id = 모델 고유 ID 값
            ⋅ camera_id = 카메라 ID
            ⋅ hand = 오른손 or 왼손 or 양손
            ⋅ frame_idx = 추출 이미지 프레임 번호
          ┣Action[n]_Actor[k]  
            ┗Camera[1~8]  
        ┗Mesh   메쉬 ■ OBJ 파일     (action_id)_(actor_id)_(image_id).obj
            ⋅ ex) 001_M255_0135465.obj

        ■ 텍스쳐 파일
            (action_id)_(actor_id)_(image_id).jpg
            ⋅ ex) 001_M255_0135465.jpg
          ┗Action[n]_Actor[k] obj,
        jpg
      2. 2. 입술
        신체 말단 움직임 영상-데이터구조표-2
        데이터 구성 형태 파일명 규칙
        경로(폴더명) 포멧 데이터
        종류
        라벨링 데이터      
        ┣Annotations   라벨링
        데이터
        ■ JSON 파일
            (word_id)_(actor_id)_(camera_id)_(frame_idx).json
            ⋅ word_id = 동작별 고유 ID 값
            ⋅ actor_id = 모델 고유 ID 값
            ⋅ camera_id = 카메라 ID(C:center, D:down, L:left, R:right, U:up)
            ⋅ frame_idx = 추출 이미지 프레임 번호
          ┣Word[n]_Actor[k]  
            ┣Camera[1~5]  
              ┗Keypoint json
        원천데이터      
        ┣Images   이미지 ■ JPG 파일     (word_id)_(actor_id)_(camera_id)_(frame_idx).jpg
            ⋅ word_id = 동작별 고유 ID 값
            ⋅ actor_id = 모델 고유 ID 값
            ⋅ camera_id = 카메라 ID(C:center, D:down, L:left, R:right, U:up)
            ⋅ frame_idx = 추출 이미지 프레임 번호
          ┣Word[n]_Actor[k]  
            ┗Camera[1~5] JPG
        ┗Mesh   메쉬 ■ OBJ 파일     (word_id)_(actor_id)_(image_id).obj
            ⋅ ex) 001_M255_0135465.obj
        ■ 텍스쳐 파일
            (word_id)_(actor_id)_(image_id).jpg
            ⋅ ex) 001_M255_0135465.jpg
          ┗Action[n]_Actor[k] obj,
        jpg
    • 어노테이션 포맷
      1. 1. 손                               
        어노테이션 포맷
        No 항목 내용 타입 필수 여부
        1 categories 카테고리 List Y
          1 type 데이터 종류 String Y
          2 type_id 데이터 종류 ID Number Y
          3 skeleton 관절 정의 List Y
          4 keypoints 키포인트 정의 List Y
          5 segments Segmentation 정의 List Y
        2 licenses 라이선스 List Y
          1 id 라이선스 ID Number Y
          2 name 라이선스 이름 String Y
          3 url 라이선스 URL String Y
        3 info 데이터 정보 List Y
          1 version 데이터 버전 String Y
          2 description 데이터 설명 String Y
          3 contributor 데이터 제작자 String Y
          4 url 데이터 제공 주소 String Y
          5 date_created 데이터 생성 날짜 String Y
        4 annotations 어노테이션 정보 List Y
          1 id 어노테이션 ID Number Y
          2 image_id 이미지 ID Number Y
          3 video_id 비디오 ID Number Y
          4 actor_id 배우 ID String Y
          5 action_id 행동 ID Number Y
          6 is_both_hands 양손 유무 Number Y
          7 is_right_hand 오른손 유무 Number Y
          8 num_keypoints 키포인트 개수 Number Y
          9 left_hand 왼손 정보 List N
          9-1 2D keypoints 2D 키포인트 List N
          9-2 3D keypoints 3D 키포인트 List N
          9-3 segmentation 세그멘테이션 정보 List N
          10 right_hand 오른손 정보 List N
          10-1 2D keypoints 2D 키포인트 List N
          10-2 3D keypoints 3D 키포인트 List N
          10-3 segmentation 세그멘테이션 정보 List N
        5 videos 비디오 정보 List Y
          1 id 비디오 ID Number Y
          2 frame_rate 프레임 레이트 Number Y
          3 width 비디오 너비 Number Y
          4 height 비디오 높이 Number Y
          5 camera_id 카메라 ID Number Y
          6 parameters 카메라 파라미터 List Y
          6-1 intrinsic 내부 파라미터 List Y
          6-2 extrinsic 외부 파라미터 List Y
          7 file_name 비디오 파일 이름 String Y
        6 images 이미지 정보 List Y
          1 id 이미지 ID Number Y
          2 file_name 이미지 파일 이름 String Y
          3 width 이미지 너비 Number Y
          4 height 이미지 높이 Number Y
          5 frame_index 프레임 번호 Number Y
        7 actors 배우 정보 List Y
          1 id 배우 ID String Y
          2 sex 배우 성별 String Y
          3 age 배우 나이 Number Y
        8 meshs 메쉬 정보 List N
          1 id 메쉬 ID Number N
          2 texture_file_name 텍스처 파일 이름 String N
          3 obj_file_name 메쉬 파일 이름 String N
      2. 2. 입술                                               
        데이터구조 어노테이션 포맷 입술 데이터 테이블
        No 항목 내용 타입 필수 여부
        1 categories 카테고리 List Y
          1 type 데이터 종류 String Y
          2 type_id 데이터 정류 ID Number Y
          3 keypoints 키포인트 정의 List Y
          4 segments Segmentation 정의 List Y
        2 licenses 라이선스 List Y
          1 id 라이선스 ID Number Y
          2 name 라이선스 이름 String Y
          3 url 라이선스 URL String Y
        3 info 데이터 정보 List Y
          1 version 데이터 버전 String Y
          2 description 데이터 설명 String Y
          3 contributor 데이터 제작자 String Y
          4 url 데이터 제공 주소 String Y
          5 date_created 데이터 생성 날짜 String Y
        4 annotations 어노테이션 정보 List Y
          1 id 어노테이션 ID Number Y
          2 image_name 이미지 파일 이름 String Y
          3 image_id 이미지 ID Number Y
          4 video_id 비디오 ID Number Y
          5 bbox 바운딩 박스 List Y
          6 segmentation 세그멘테이션 List Y
          7 area 세그멘테이션 넓이 List Y
          8 actor_id 배우 ID String Y
          9 word 단어 String Y
          10 word_id 단어 ID Number Y
          11 num_keypoints 키포인트 개수 Number Y
          12 2D keypoints 2D 키포인트 List Y
        5 videos 비디오 정보 List Y
          1 id 비디오 ID Number Y
          2 frame_rate 프레임 레이트 Number Y
          3 width 비디오 너비 Number Y
          4 height 비디오 높이 Number Y
          5 camera_id 카메라 ID Number Y
          6 parameters 카메라 파라미터 List Y
          6-1 intrinsic 내부 파라미터 List Y
          6-2 extrinsic 외부 파라미터 List Y
          7 file_name 비디오 파일 이름 String Y
          8 date_captured 데이터 촬영 날짜 String Y
        6 images 이미지 정보 List Y
          1 id 이미지 ID Number Y
          2 file_name 이미지 파일 이름 String Y
          3 width 이미지 너비 Number Y
          4 height 이미지 높이 Number Y
          5 frame_index 프레임 번호 Number Y
        7 meshs 메쉬 정보 List N
          1 id 메쉬 ID Number N
          2 texture_file_name 텍스처 파일 이름 String N
          3 obj_file_name 메쉬 파일 이름 String N
        8 actor 배우 정보 List Y
          1 id 배우 ID String Y
          2 sex 배우 성별 String Y
          3 age 배우 나이 Number Y
  • 데이터셋 구축 담당자

    수행기관(주관) : KT
    수행기관(주관)
    책임자명 전화번호 대표이메일 담당업무
    소영준 02-2057-1015 aidata.kt@gmail.com · 과제 관리 · 데이터 수집, 가공, 활용 시나리오 설계 · AI 모델 프로토타입 개발
    수행기관(참여)
    수행기관(참여)
    기관명 담당업무
    이오이스 · 원천 데이터 촬영 및 정제
    에이모 · 데이터셋 구축
    · 어노테이션 저작도구 제작
    에프엑스기어 · AI 모델을 활용한 응용 서비스 개발 (손 동작 리타겟팅, 독순술 서비스)
    홍익대학교 ·데이터 가공
    데이터 관련 문의처
    데이터 관련 문의처
    담당자명 전화번호 이메일
    소영준(KT) 02-2057-1015 aidata.kt@gmail.com
보건의료 데이터 개방 안내

보건의료 데이터는 온라인 및 오프라인 안심존을 통해 개방됩니다.

안심존이란 안심존 이용메뉴얼 안심존 이용신청
  • 인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
    * 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
    * 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석

    1. AI 허브 접속
      신청자
    2. 안심존
      사용신청
      신청자신청서류 제출*
    3. 심사구축기관
    4. 승인구축기관
    5. 데이터 분석 활용신청자
    6. 분석모델반출신청자
  • 1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
    2. 기관생명윤리위원회(IRB) 승인된 연구계획서
    3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
    4. 안심존 이용 신청서 [다운로드]
    5. 보안서약서 [다운로드]
    ※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다.

  • 신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의

데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.

API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.

리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.

※ 파일 병합 리눅스 명령어

find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"

- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.

- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.

※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.