#컴퓨터 그래픽스
NEW 대화·발표 동작 모션캡처 데이터
- 분야영상이미지
- 유형 비디오
-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.1 2024-03-06 데이터 최종 개방 1.0 2023-05-26 데이터 개방(Beta Version) 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2023-11-24 산출물 전체 공개 소개
대화 장소 및 상황별 시나리오 정의 다양한 연령별의 조건 조합 연기자를 동원하여 데이터의 다양성을 확보 데이터셋 구축하였고. 메타버스 분야등 가상 공간에서의 AI 알고리즘을 통한 모션 생성 기술에 활용 가능한 모션캡쳐 데이터 구축
구축목적
실생활에서 자주 일어나는 상황의 모션을 기반으로 제작한 동작 모션캡쳐 데이터를 통해 인공지능 산업의 발판을 마련하기 위해 다양한 동작에 대한 모션 데이터 및 영상 데이터 취득 목적
-
메타데이터 구조표 데이터 영역 영상이미지 데이터 유형 비디오 데이터 형식 BVH,MP4,JPG,TXT,FBX 데이터 출처 자체 취득 라벨링 유형 구간 태깅(동영상) 라벨링 형식 JSON 데이터 활용 서비스 로봇 시스템, 게임 및 애니메이션 기술, 발표, 온라인 교육 서비스 분야 등 데이터 구축년도/
데이터 구축량2022년/1,352건 -
데이터 구축 규모
데이터 데이터 구분 최종 산출물 수량 단위 원천데이터 영상데이터_mp4 Front 1,352 건 스켈레톤데이터 bvh 2,408 건 qtm 1,352 건 발화스크립트데이터 txt 1,352 장 시나리오데이터 txt 14 장 라벨링데이터 구간태깅,meta json 2,408 건 
구분 비율 발표(PT) 44% 대화(TA) 56% 
구분 비율 남자(MA) 54% 여자(FM) 46% 구분 비율 10대~20대(Y) 38% 30대~40대(M) 34% 50대~60대(O) 28% 
구분 비율 혼성(CD) 29.17% 여자 동성(SF) 36.50% 남자 동성(SM) 34.33% 구분 비율 비슷한 연령대(DF) 41% 다른 연령대(SA) 59% 
구분 비율 혼성(CD) 30.26% 여자 동성(SF) 25.66% 남자 동성(SM) 44.08% 구분 비율 비슷한 연령대(DF) 68.42% 다른 연령대(SA) 31.58% -
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드- 동일한 발화자에 대해서 훈련되고 테스트된 발화자 특정적 제스처 생성 모델들이 연구 발표되고 있으며, Hidden Markov Model, Speech2Gesture, Mix-StAGE 등의 모델들을 비교하여 Action2Motion 모델 선정
- Action category, time count 및 Pose vector를 입력으로 받아 훈련하며, 생성 시에는 action category를 입력하면 동작 시퀀스를 생성. 훈련 시 Pose vector는 Lie Algebra 기반의 표상으로 변환되며, Temporal VAE 및 순환 신경망 모델인 GRU로 구성된 Generator가 훈련됨. 테스트 단계에서 Generator는 우선 생성하려는 동작 시퀀스에 대한 Lie Algebra 기반의 파라미터들을 생성하고 forward kinematics 계산을 통해 skeleton기반의 동작 시퀀스로 출력.
- Action2Motion 논문 저자들이 직접 제작한 HumanAct12 데이터셋에서 FID 값을 선택하되, Lie Algebra를 적용하지 않은 경우 값 3.299를 목표치로 선택함학습 모델 알고리즘 성능지표 선정 사유 Action2Motion Action2Motion FID 3.299 이하 HumanAct12, NTU-RGB-D, CMU MoCap과 비교해보았을 시 Guo et al 의 Action2Motion 모델이 기준 모델로 적합하다고 판단 되었음. 
-
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 동작 생성 성능 Generation Action2Motion FID 2.885 점 1.35 점
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드구분 예시 데이터 항목 모션캡처 데이터 
모션캡처 동작 3D 좌표 2D 영상 
체형 연령 성별 대화 발표 시나리오 시나리오 텍스트 
대화 발표 시나리오 발화 시나리오 
대화 발표 시나리오 데이터 구성
No. Field name Length Meaning a category 2 발표(PT), 대화(TA) b scenarioList 4 일상생활(TV시청)(S201), 위로(S202), 생일축하(S203), 진료실(S204), 역무원에게 길 묻기(S205), 사진 찍어주기(S206), 근황토크(S207), 의류쇼핑(S208), 회사간 업무 미팅(S209), 장보기(S210), 일어선 상태에서의 발표(회사)(S101), 앉은 상태에서의 발표(회사)(S102), 일어선 상태에서의 설명(전시회)(S103), 앉은 상태에서의 설명(쇼호스트)(S104) c 1 1인(1), 2인(2), 4인(4) d group gender 2 혼성(CD), 여성 동성(SF), 남성 동성(SM) e group age 2 다른 연령대(DF), 같은 연령대(SA) f group code 3 G01~ g gender 2 여성(FM), 남성(MA) h gender 1 young(Y), middle age(M), Old age(O) i id 3 001~ num file name ex)TA_S201_2_SF_SA_G36_FM_Y_038 라벨링 데이터 정보
구 분 항목명 타입 필수여부 설명 1 info object y 데이터 정보 1.1 name string y 데이터셋 이름 1.2 creator string y 데이터셋 구축 기관 1.3 date_created string y 데이터 생성 일자 1.4 project string 프로젝트명 1.5 version string 사용된 저작도구 버전 1.6 mocap_filename string y 모션캡쳐 데이터 파일명 2 annotation object y 어노테이션 정보 2.1 video object y 비디오 정보 2.1.1 filename string y 영상 파일명 2.1.2 code string y 영상 분류 코드 2.1.3 fps number y 영상 초당 프레임 수 2.1.4 frames number y 동영상 총 프레임 수 2.1.5 duration number y 동영상 길이 2.1.6 height number y 영상 세로 길이 2.1.7 width number y 영상 가로 길이 2.2 actionAnnotationList[] array y 동작 어노테이션 2.2.1 appearance_id number y 연기자 등장번호 2.2.2 actor_id number y 연기자 고유번호 2.2.3 start_frame number y 동작 시작 지점 2.2.4 end_frame number y 동작 끝 지점 2.2.5 scenario_id number y 시나리오 id 2.2.6 action_id number y 동작 id 3 categories object y 카테고리 정보 3.1 actionCategories array y 동작 카테고리 3.1.1 id number y 동작 id 3.1.2 name string y 동작 명 3.1.3 code string y 동작 코드 3.2 scenarioList array y 동작 시나리오 정보 3.2.1 id number y 시나리오 id 3.2.2 name string y 시나리오 명 3.2.3 code string y 시나리오 코드 3.2.4 action_ids array y 시나리오별 동작 id 목록 4 actors array y 시연자 정보 4.1 id number y 시연자 ID 4.2 age number y 시연자 나이대 정보 4.3 gender string y 시연자 성별 정보 5 mocap_data array y 모션캡쳐 데이터 5.1 Frame number y Frame id 5.2 Keypoints object y Keypoint 좌표정보 5.2.1 Skeletons array y Skeletons x,y,z 좌표 5.2.2 Reference array y Reference x,y,z 좌표 5.2.3 Hips array y Hips x,y,z 좌표 5.2.4 RightUpLeg array y RightUpLeg x,y,z 좌표 5.2.5 RightLeg array y RightLeg x,y,z 좌표 5.2.6 RightFoot array y RightFoot x,y,z 좌표 5.2.7 RightToeBase array y RightToeBase x,y,z 좌표 5.2.8 RightToeBaseEnd array y RightToeBaseEnd x,y,z 좌표 5.2.9 LeftUpLeg array y LeftUpLeg x,y,z 좌표 5.2.10 LeftLeg array y LeftLeg x,y,z 좌표 5.2.11 LeftFoot array y LeftFoot x,y,z 좌표 5.2.12 LeftToeBase array y LeftToeBase x,y,z 좌표 5.2.13 LeftToeBaseEnd array y LeftToeBaseEnd x,y,z 좌표 5.2.14 Spine array y Spine x,y,z 좌표 5.2.15 Spine1 array y Spine1 x,y,z 좌표 5.2.16 Spine2 array y Spine2 x,y,z 좌표 5.2.17 RightShoulder array y RightShoulder x,y,z 좌표 5.2.18 RightArm array y RightArm x,y,z 좌표 5.2.19 RightForeArm array y RightForeArm x,y,z 좌표 5.2.20 RightForeArmRoll array y RightForeArmRoll x,y,z 좌표 5.2.21 RightHand array y RightHand x,y,z 좌표 5.2.22 index_00_l array y index_00_l x,y,z 좌표 5.2.23 index_01_l array y index_01_l x,y,z 좌표 5.2.24 index_02_l array y index_02_l x,y,z 좌표 5.2.25 index_03_l array y index_03_l x,y,z 좌표 5.2.26 index_03_lEnd array y index_03_lEnd x,y,z 좌표 5.2.27 middle_00_l array y middle_00_l x,y,z 좌표 5.2.28 middle_01_l array y middle_01_l x,y,z 좌표 5.2.29 middle_02_l array y middle_02_l x,y,z 좌표 5.2.30 middle_03_l array y middle_03_l x,y,z 좌표 5.2.31 middle_03_lEnd array y middle_03_lEnd x,y,z 좌표 5.2.32 ring_00_l array y ring_00_l x,y,z 좌표 5.2.33 ring_01_l array y ring_01_l x,y,z 좌표 5.2.34 ring_02_l array y ring_02_l x,y,z 좌표 5.2.35 ring_03_l array y ring_03_l x,y,z 좌표 5.2.36 ring_03_lEnd array y ring_03_lEnd x,y,z 좌표 5.2.37 pinky_00_l array y pinky_00_l x,y,z 좌표 5.2.38 pinky_01_l array y pinky_01_l x,y,z 좌표 5.2.39 pinky_02_l array y pinky_02_l x,y,z 좌표 5.2.40 pinky_03_l array y pinky_03_l x,y,z 좌표 5.2.41 pinky_03_lEnd array y pinky_03_lEnd x,y,z 좌표 5.2.42 thumb_01_l array y thumb_01_l x,y,z 좌표 5.2.43 thumb_02_l array y thumb_02_l x,y,z 좌표 5.2.44 thumb_03_l array y thumb_03_l x,y,z 좌표 5.2.45 thumb_03_lEnd array y thumb_03_lEnd x,y,z 좌표 5.2.46 LeftShoulder array y LeftShoulder x,y,z 좌표 5.2.47 LeftArm array y LeftArm x,y,z 좌표 5.2.48 LeftForeArm array y LeftForeArm x,y,z 좌표 5.2.49 LeftForeArmRoll array y LeftForeArmRoll x,y,z 좌표 5.2.50 LeftHand array y LeftHand x,y,z 좌표 5.2.51 index_00_r array y index_00_r x,y,z 좌표 5.2.52 index_01_r array y index_01_r x,y,z 좌표 5.2.53 index_02_r array y index_02_r x,y,z 좌표 5.2.54 index_03_r array y index_03_r x,y,z 좌표 5.2.55 index_03_rEnd array y index_03_rEnd x,y,z 좌표 5.2.56 middle_00_r array y middle_00_r x,y,z 좌표 5.2.57 middle_01_r array y middle_01_r x,y,z 좌표 5.2.58 middle_02_r array y middle_02_r x,y,z 좌표 5.2.59 middle_03_r array y middle_03_r x,y,z 좌표 5.2.60 middle_03_rEnd array y middle_03_rEnd x,y,z 좌표 5.2.61 ring_00_r array y ring_00_r x,y,z 좌표 5.2.62 ring_01_r array y ring_01_r x,y,z 좌표 5.2.63 ring_02_r array y ring_02_r x,y,z 좌표 5.2.64 ring_03_r array y ring_03_r x,y,z 좌표 5.2.65 ring_03_rEnd array y ring_03_rEnd x,y,z 좌표 5.2.66 pinky_00_r array y pinky_00_r x,y,z 좌표 5.2.67 pinky_01_r array y pinky_01_r x,y,z 좌표 5.2.68 pinky_02_r array y pinky_02_r x,y,z 좌표 5.2.69 pinky_03_r array y pinky_03_r x,y,z 좌표 5.2.70 pinky_03_rEnd array y pinky_03_rEnd x,y,z 좌표 5.2.71 thumb_01_r array y thumb_01_r x,y,z 좌표 5.2.72 thumb_02_r array y thumb_02_r x,y,z 좌표 5.2.73 thumb_03_r array y thumb_03_r x,y,z 좌표 5.2.74 thumb_03_rEnd array y thumb_03_rEnd x,y,z 좌표 5.2.75 Neck array y Neck x,y,z 좌표 5.2.76 Head array y Head x,y,z 좌표 5.2.77 HeadEnd array y HeadEnd x,y,z 좌표 어노테이션 포맷
No. 항목명 타입 필수여부 비고 1 info object y 데이터셋 정보 1.1 name string y 데이터 명 1.2 creator string y 구축기관명 1.3 date_created string y 데이터 구축일 1.4 project string n 프로젝트 명 1.5 version string n 데이터 버전 1.6 mocap_filename string n 모션캡처 파일명 2 annotation object y 어노테이션 정보 2.1 video object y 동영상 정보 2.1.1 filename string y 동영상 파일명 2.1.2 code string y 동영상 코드명 2.1.3 fps number y FPS 정보 2.1.4 frames number y 프레임 수 2.1.5 duration number y 영상길이 2.1.6 height number y 영상 세로 크기 2.1.7 width number y 영상 가로 크기 2.2 actionAnnotationList array y 동작 어노테이션 정보 2.2.1 actor_id number y 시연자 ID 2.2.2 action number y 동작 카테고리 ID 2.2.3 start_frame number y 동작 시작 시점 2.2.4 end_frame number y 동작 종료 시점 2.2.5 action_scenario number y 동작 시나리오 3 categories object y 카테고리 3.1 actionCategories array y 동작 카테고리 정보 3.1.1 id number y 동작 카테고리 ID 3.1.2 name string y 동작명 3.1.3 action_scenarios array y 동작 시나리오 3.2 actionScenarioList array y 동작 시나리오 정보 3.2.1 id number y 동작 시나리오 ID 3.2.2 name string y 동작 시나리오명 3.2.3 code string y 동작시나리오 코드 4 actors array y 시연자 정보 4.1 id number y 시연자 ID 4.2 age number y 시연자 연령 4.3 gender string y 시연자 성별 4.4 body_info string y 시연자 체형 정보 5 object object y 객체 정보 5.1 code string y 객체 코드 5.2 name string y 객체명 6 mocap_data array y 모션캡처 데이터 정보 6.1 Frame number y 프레임 수 6.2 Keypoints object y 좌표 정보 6.2.1 Skeletons array y 스켈레톤 기준점 6.2.2 Reference array y 참조 좌표 6.2.3 Hips array y 엉덩이 6.2.4 RightUpLeg array y 오른쪽 허벅지 6.2.5 RightLeg array y 오른쪽 종아리 6.2.6 RightFoot array y 오른쪽 발 6.2.7 RightToeBase array y 오른발 발가락 중앙 6.2.8 RightToeBaseEnd array y 오른발 발가락 중앙의 끝 6.2.9 LeftUpLeg array y 왼쪽 허벅지 6.2.10 LeftLeg array y 왼쪽 종아리 6.2.11 LeftFoot array y 왼쪽 발 6.2.12 LeftToeBase array y 왼발 발가락 중앙 6.2.13 LeftToeBaseEnd array y 왼발 발가락 중앙의 끝 6.2.14 Spine array y 척추 6.2.15 Spine1 array y 척추1 6.2.16 Spine2 array y 척추2 6.2.17 RightShoulder array y 오른쪽 어깨 6.2.18 RightArm array y 오른쪽 팔 6.2.19 RightForeArm array y 오른쪽 팔꿈치 6.2.20 RightForeArmRoll array y 오른쪽 팔꿈치 안쪽 6.2.21 RightHand array y 오른손 6.2.22 index_00_l array y 왼손 검지 손등뼈 6.2.23 index_01_l array y 왼손 검지 1번째 관절 6.2.24 index_02_l array y 왼손 검지 2번째 관절 6.2.25 index_03_l array y 왼손 검지 3번째 관절 6.2.26 index_03_lEnd array y 왼손 검지 끝 6.2.27 middle_00_l array y 왼손 중지 손등뼈 6.2.28 middle_01_l array y 왼손 중지 1번째 관절 6.2.29 middle_02_l array y 왼손 중지 2번째 관절 6.2.30 middle_03_l array y 왼손 중지 3번째 관절 6.2.31 middle_03_lEnd array y 왼손 중지 끝 6.2.32 ring_00_l array y 왼손 약지 손등뼈 6.2.33 ring_01_l array y 왼손 약지 1번째 관절 6.2.34 ring_02_l array y 왼손 약지 2번째 관절 6.2.35 ring_03_l array y 왼손 약지 3번째 관절 6.2.36 ring_03_lEnd array y 왼손 약지 끝 6.2.37 pinky_00_l array y 왼손 소지 손등뼈 6.2.38 pinky_01_l array y 왼손 소지 1번째 관절 6.2.39 pinky_02_l array y 왼손 소지 2번째관절 6.2.40 pinky_03_l array y 왼손 소지 3번째 관절 6.2.41 pinky_03_lEnd array y 왼손 소지 끝 6.2.42 thumb_01_l array y 왼손 엄지 손등뼈 6.2.43 thumb_02_l array y 왼손 엄지 1번째 관절 6.2.44 thumb_03_l array y 왼손 엄지 2번째 관절 6.2.45 thumb_03_lEnd array y 왼손 엄지 끝 6.2.46 LeftShoulder array y 왼팔 어깨 6.2.47 LeftArm array y 왼쪽 팔 6.2.48 LeftForeArm array y 왼쪽 팔꿈치 6.2.49 LeftForeArmRoll array y 왼쪽 팔꿈치 안쪽 6.2.50 LeftHand array y 왼손 6.2.51 index_00_r array y 오른손 검지 손등뼈 6.2.52 index_01_r array y 오른손 검지 1번째 관절 6.2.53 index_02_r array y 오른손 검지 2번째 관절 6.2.55 index_03_r array y 오른손 검지 3번째 관절 6.2.56 index_03_rEnd array y 오른손 검지 끝 6.2.57 middle_00_r array y 오른손 중지 손등뼈 6.2.58 middle_01_r array y 오른손 중지 1번째 관절 6.2.59 middle_02_r array y 오른손 중지 2번째 관절 6.2.60 middle_03_r array y 오른손 중지 3번째 관절 6.2.61 middle_03_rEnd array y 오른손 중지 끝 6.2.62 ring_00_r array y 오른손 약지 손등뼈 6.2.63 ring_01_r array y 오른손 약지 1번째 관절 6.2.64 ring_02_r array y 오른손 약지 2번째 관절 6.2.65 ring_03_r array y 오른손 약지 3번째 관절 6.2.66 ring_03_rEnd array y 오른손 약지 끝 6.2.67 pinky_00_r array y 오른손 소지 손등뼈 6.2.68 pinky_01_r array y 오른손 소지 1번째 관절 6.2.69 pinky_02_r array y 오른손 소지 2번째 관절 6.2.70 pinky_03_r array y 오른손 소지 3번째 관절 6.2.71 pinky_03_rEnd array y 오른손 소지 끝 6.2.72 thumb_01_r array y 오른손 엄지 손등뼈 6.2.73 thumb_02_r array y 오른손 엄지 1번째 관절 6.2.74 thumb_03_r array y 오른손 엄지 2번째 관절 6.2.75 thumb_03_rEnd array y 오른손 엄지 끝 6.2.76 Neck array y 목 6.2.77 Head array y 머리 6.2.78 HeadEnd array y 정수리 실제 예시
-
데이터셋 구축 담당자
수행기관(주관) : ㈜디타스
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 김종백 02-6283-0160 daikej@dtaas.co.kr 데이터 수집, 정제, 가공, 사업관리 수행기관(참여)
수행기관(참여) 기관명 담당업무 ㈔한국지식서비스연구원 데이터 품질 검수 동국대학교 산학협력단 AI 학습 모델 개발 영진전문대학교 산학협력단 데이터 촬영현장 제공 및 원시데이터 수집 지원 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 김종백 02-6283-0160 daikej@dtaas.co.kr
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.