-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.1 2024-01-24 데이터 최종 개방 1.0 2023-07-31 데이터 개방(Beta Version) 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2024-01-24 산출물 전체 공개 소개
□ 2-079-212. 피겨 스케이팅 - 대표적인 동계 스포츠인 피겨 스케이팅의 경기 분석 및 교육, 훈련 프로그램 개발을 위한 주요 동작 영상 데이터
구축목적
○ 고품질의 인공지능 학습데이터 구축 ○ 피겨 스케이팅 종목의 다양한 동작 인식 연구에 사용할 수 있는 과학적 데이터 확보 ○ 교육 훈련 분야에서 모니터링으로 활용 가능한 데이터 확보 ○ 피겨 스케이팅 종목의 대중화 및 활성화
-
메타데이터 구조표 데이터 영역 스포츠 데이터 유형 비디오 , 이미지 데이터 형식 jpg, avi 데이터 출처 자체 구축 라벨링 유형 세그멘테이션, 키포인트 라벨링 형식 csv, json 데이터 활용 서비스 인간 행동 인식 및 정확도 분석, 원격 비대면 교육, 동작인식 및 트래킹 데이터 구축년도/
데이터 구축량2022년/원천 데이터: 5,000클립(8채널), 라벨링 데이터: 40,000개 -
□ 데이터 구축 규모
○ 원천데이터 포맷별 구축 규모
- 포맷은 각 동작당 JPG,AVI 형식으로 생성하며 생성 규모는 다음과 같음구분 원시데이터 파일 포맷 영상 AVI 이미지 JPG 원천데이터 포맷
포맷 형식 한 동작 총 개수 AVI 8 40,000 클립 한 동작은 RGB 8채널로 수집, 평균 촬영시간 12초, 30fps
○ 라벨링 데이터 포맷별 구축 규모
- 동작에 대한 2D 키포인트 정보, 3D 키포인트 정보, 라벨링 어노테이션 및 메타 정보가 존재함구분 라벨링데이터 포맷 총 개수 2D 키포인트 CSV 40,000 3D 키포인트 CSV 5,000 라벨링 어노테이션 JSON 40,000 동작 영상 한개 당 2D 키포인트 정보 8개(CSV 형식), 3D 키포인트 정보 1개(CSV 형식), 메타라벨링 데이터 1개(JSON 형식)를 생성
□ 데이터 분포
- 세부 동작 별 데이터 분류 구성비율표대분류 중분류 소분류 회수 소분류구성비 중분류구성비 대분류구성비 Jump Waltz 정상 4 40% 6.25% 37.50% 넘어짐 2 20% 두발착지 2 20% 스태핑아웃 2 20% 1S(Salchow) 정상 4 40% 6.25% 넘어짐 2 20% 두발착지 2 20% 스태핑아웃 2 20% 1T(Toe loop) 정상 4 40% 6.25% 넘어짐 2 20% 두발착지 2 20% 스태핑아웃 2 20% 1Lo(Loop) 정상 4 40% 6.25% 넘어짐 2 20% 두발착지 2 20% 스태핑아웃 2 20% 1F(Flip) 정상 4 40% 6.25% 넘어짐 2 20% 두발착지 2 20% 스태핑아웃 2 20% 1Lz(Lutz) 정상 4 40% 6.25% 넘어짐 2 20% 두발착지 2 20% 스태핑아웃 2 20% Spin Two-Foot Spin 정상 4 40% 6.25% 31.25% 흘러가는 스핀 3 30% 회전수 부족 3 30% One-Foot Spin 정상 4 40% 6.25% 흘러가는 스핀 3 30% 회전수 부족 3 30% Upright 정상 4 40% 6.25% 흘러가는 스핀 2 20% 회전수 부족 2 20% 부정확한 자세 2 20% Sit 정상 4 40% 6.25% 흘러가는 스핀 2 20% 회전수 부족 2 20% 부정확한 자세 2 20% Camel 정상 4 40% 6.25% 회전수 부족 3 30% 부정확한 자세 3 30% Step Swizzle 정상 5 50% 6.25% 31.25% 비틀거림 5 50% Three Turn 정상 4 40% 6.25% 비틀거림 3 30% 부정확한 동작 3 30% Stroking 정상 5 50% 6.25% 부정확한 동작 5 50% Cross over 정상 5 50% 6.25% 부정확한 동작 5 50% Spiral 정상 5 50% 6.25% 부정확한 동작 5 50% -
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드□ AI모델 임무 정의
- [행동 인식 (Action Recognition)] 피겨 동작 영상으로부터 추출한 스켈레톤 데이터가 주어질 때, 해당 동작이 어떤 동작인지 분류○ 활용 AI 모델 - PoseC3D
PoseC3D 개요도
- PoseC3D는 시계열 형태의 Skeleton 데이터를 입력으로 하여 동작을 분류하는 행동인식 모델
- Graph Neural Network 구조 기반의 기존 모델들과 달리 관절 정보를 히트맵 이미지로 재구성하여 이미지를 처리하는 Convolutional Neural Network 구조 기반의 분류 모델
○ 학습 조건
- epoch : 500 epoch - optimizer : adam optimizer
- batch : 64 videos - loss, iteration 등
□ 서비스 활용 시나리오
• 동작 분석 학습데이터를 활용하는 AI 기술을 활용하여, 동작인식 아바타로 3D 네트워크 게임이나, VR까지 확대 개발할 수 있는 발판을 마련하고 제품화를 희망하는 벤처 중소기업과의 협약을 통해 서비스를 제공
• 저작도구와 검증용 서비스 소스 코드는 누구나 다운 받아서 활용할 수 있도록 개발자들의 소셜 네트워크(Github)에 공개
• 기업간 AI학습용 데이터 연결성 강화를 위해 글로벌 지향 개방형 생태계의 플랫폼 연동을 위한 API표준 프로토콜 표준화를 시작으로 플랫폼 연동 체계를 구성
□ AI모델 유효성 환경
유효성 검증 환경 지표 정확도 (Top-3 Accuracy) 측정 산식 정확도(%)=
도커 이미지 elancer_pose.tar, 27GB 실행 파일명 run.py —data figure_full —version test/valid 유효성 검증 환경 CPU [Intel] 제온 E5-2630 v4 2.2GHz, 25M 캐시, 8.0 GT/s QPI, Turbo, HT, 10C/20T (85W) 최대 메모리 2133 MHz x 2개 Memory 512GB (64GB x 8) GPU Geforce GTX 1080Ti * 4 Storage 33TB HDD OS Ubuntu 20.04 LTS 유효성 검증 모델 학습 및 검증 조건 개발 언어 Python 3.8 프레임워크 CUDA 11.6 -
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 피겨 스케이팅 동작 분류 성능 (2D) Image Classification PoseC3D AccuracyTop-3 85 % 99.94 % 2 피겨 스케이팅 유사도 모델 (2D) (오류 분류) Image Classification PoseC3D AccuracyTop-3 85 % 10 %
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드□ 원천 데이터
○ 동작 구성
- 피겨 스케이팅 동작을 유형별로 크게 Jump, Spin, Step 3가지로 구성
국제빙상경기연맹(ISU)에서 심판이 선수의 수행을 위 3가지의 과제로 나누어
채점하는 기준을 반영한 구분이며, Jump 6개, Spin 5개, Step 5개 동작으로 총 16개의 동작으로 구성
○ 데이터 구성- 다각도의 8개 화면로 촬영된 FHD(1920*1080) 30FPS 동영상 파일(.avi) 및
이미지 파일(.jpg)
동작 동영상, 초당 30프레임으로 저장된 이미지 예시
데이터 명 포맷 파일명 비고 원천데이터 JPG X.jpg 데이터 폴더 구분 AVI Motion2-X.avi □ 라벨링 데이터
라벨링 데이터는 2D,3D Skeleton(.csv) 및 어노테이션 메타데이터(.json)으로 구성됨구분 라벨링데이터 파일 포맷 2D 키포인트 CSV 3D 키포인트 CSV 라벨링 어노테이션 JSON ○ CSV keypoint 데이터 구성표(2D)
항목 필수여부 설명 image_filename string Y Nose_x number Y 코 좌표 X Nose_y number Y 코 좌표 Y LEye_x number Y 왼쪽 눈 좌표 X LEye_y number Y 왼쪽 눈 좌표 Y REye_x number Y 오른쪽 눈 좌표 X REye_y number Y 오른쪽 눈 좌표 Y LEar_x number Y 왼쪽 귀 좌표 X LEar_y number Y 왼쪽 귀 좌표 Y REar_x number Y 오른쪽 귀 좌표 X REar_y number Y 오른쪽 귀 좌표 Y LShoulder_x number Y 왼쪽 어깨 좌표 X LShoulder_y number Y 왼쪽 어깨 좌표 Y RShoulder_x number Y 오른쪽 어깨 좌표 X RShoulder_y number Y 오른쪽 어깨 좌표 Y LElbow_x number Y 왼쪽 팔꿈치 좌표 X LElbow_y number Y 왼쪽 팔꿈치 좌표 Y RElbow_x number Y 오른쪽 팔꿈치 좌표 X RElbow_y number Y 오른쪽 팔꿈치 좌표 Y LWrist_x number Y 왼쪽 손목 좌표 X LWrist_y number Y 왼쪽 손목 좌표 Y RWrist_x number Y 오른쪽 손목 좌표 X RWrist_y number Y 오른쪽 손목 좌표 Y LHip_x number Y 왼쪽 엉덩이 좌표 X LHip_y number Y 왼쪽 엉덩이 좌표 Y RHip_x number Y 오른쪽 엉덩이 좌표 X RHip_y number Y 오른쪽 엉덩이 좌표 Y LKnee_x number Y 왼쪽 무릎 좌표 X LKnee_y number Y 왼쪽 무릎 좌표 Y RKnee_x number Y 오른쪽 무릎 좌표 X RKnee_y number Y 오른쪽 무릎 좌표 Y LAnkle_x number Y 왼쪽 발목 좌표 X LAnkle_y number Y 왼쪽 발목 좌표 Y RAnkle_x number Y 오른쪽 발목 좌표 X RAnkle_y number Y 오른쪽 발목 좌표 Y Head_x number Y 머리 좌표 X Head_y number Y 머리 좌표 Y Neck_x number Y 목 좌표 X Neck_y number Y 목 좌표 Y Hip_x number Y 엉덩이 좌표 X Hip_y number Y 엉덩이 좌표 Y LBigToe_x number Y 왼쪽 엄지발가락 좌표 X LBigToe_y number Y 왼쪽 엄지발가락 좌표 Y RBigToe_x number Y 오른쪽 엄지발가락 좌표 X RBigToe_y number Y 오른쪽 엄지발가락 좌표 Y LSmallToe_x number Y 왼쪽 새끼발가락 좌표 X LSmallToe_y number Y 왼쪽 새끼발가락 좌표 Y RSmallToe_x number Y 오른쪽 새끼발가락 좌표 X RSmallToe_y number Y 오른쪽 새끼발가락 좌표 Y LHeel_x number Y 왼쪽 발꿈치 좌표 X LHeel_y number Y 왼쪽 발꿈치 좌표 Y RHeel_x number Y 오른쪽 발꿈치 좌표 X RHeel_y number Y 오른쪽 발꿈치 좌표 Y ○ CSV keypoint 데이터 구성표(3D)
항목 필수여부 설명 image_filename string Y Nose_x number Y 코 좌표 X Nose_y number Y 코 좌표 Y Nose_z number Y 코 좌표 Z LEye_x number Y 왼쪽 눈 좌표 X LEye_y number Y 왼쪽 눈 좌표 Y LEye_z number Y 왼쪽 눈 좌표 Z REye_x number Y 오른쪽 눈 좌표 X REye_y number Y 오른쪽 눈 좌표 Y REye_z number Y 오른쪽 눈 좌표 Z LEar_x number Y 왼쪽 귀 좌표 X LEar_y number Y 왼쪽 귀 좌표 Y LEar_z number Y 왼쪽 귀 좌표 Z REar_x number Y 오른쪽 귀 좌표 X REar_y number Y 오른쪽 귀 좌표 Y REar_z number Y 오른쪽 귀 좌표 Z LShoulder_x number Y 왼쪽 어깨 좌표 X LShoulder_y number Y 왼쪽 어깨 좌표 Y LShoulder_z number Y 왼쪽 어깨 좌표 Z RShoulder_x number Y 오른쪽 어깨 좌표 X RShoulder_y number Y 오른쪽 어깨 좌표 Y RShoulder_z number Y 오른쪽 어깨 좌표 Z LElbow_x number Y 왼쪽 팔꿈치 좌표 X LElbow_y number Y 왼쪽 팔꿈치 좌표 Y LElbow_z number Y 왼쪽 팔꿈치 좌표 Z RElbow_x number Y 오른쪽 팔꿈치 좌표 X RElbow_y number Y 오른쪽 팔꿈치 좌표 Y RElbow_z number Y 오른쪽 팔꿈치 좌표 Z LWrist_x number Y 왼쪽 손목 좌표 X LWrist_y number Y 왼쪽 손목 좌표 Y LWrist_z number Y 왼쪽 손목 좌표 Z RWrist_x number Y 오른쪽 손목 좌표 X RWrist_y number Y 오른쪽 손목 좌표 Y RWrist_z number Y 오른쪽 손목 좌표 Z LHip_x number Y 왼쪽 엉덩이 좌표 X LHip_y number Y 왼쪽 엉덩이 좌표 Y LHip_z number Y 왼쪽 엉덩이 좌표 Z RHip_x number Y 오른쪽 엉덩이 좌표 X RHip_y number Y 오른쪽 엉덩이 좌표 Y RHip_z number Y 오른쪽 엉덩이 좌표 Z LKnee_x number Y 왼쪽 무릎 좌표 X LKnee_y number Y 왼쪽 무릎 좌표 Y LKnee_z number Y 왼쪽 무릎 좌표 Z RKnee_x number Y 오른쪽 무릎 좌표 X RKnee_y number Y 오른쪽 무릎 좌표 Y RKnee_z number Y 오른쪽 무릎 좌표 Z LAnkle_x number Y 왼쪽 발목 좌표 X LAnkle_y number Y 왼쪽 발목 좌표 Y LAnkle_z number Y 왼쪽 발목 좌표 Z RAnkle_x number Y 오른쪽 발목 좌표 X RAnkle_y number Y 오른쪽 발목 좌표 Y RAnkle_z number Y 오른쪽 발목 좌표 Z Head_x number Y 머리 좌표 X Head_y number Y 머리 좌표 Y Head_z number Y 머리 좌표 Z Neck_x number Y 목 좌표 X Neck_y number Y 목 좌표 Y Neck_z number Y 목 좌표 Z Hip_x number Y 엉덩이 좌표 X Hip_y number Y 엉덩이 좌표 Y Hip_z number Y 엉덩이 좌표 Z LBigToe_x number Y 왼쪽 엄지발가락 좌표 X LBigToe_y number Y 왼쪽 엄지발가락 좌표 Y LBigToe_z number Y 왼쪽 엄지발가락 좌표 Z RBigToe_x number Y 오른쪽 엄지발가락 좌표 X RBigToe_y number Y 오른쪽 엄지발가락 좌표 Y RBigToe_z number Y 오른쪽 엄지발가락 좌표 Z LSmallToe_x number Y 왼쪽 새끼발가락 좌표 X LSmallToe_y number Y 왼쪽 새끼발가락 좌표 Y LSmallToe_z number Y 왼쪽 새끼발가락 좌표 Z RSmallToe_x number Y 오른쪽 새끼발가락 좌표 X RSmallToe_y number Y 오른쪽 새끼발가락 좌표 Y RSmallToe_z number Y 오른쪽 새끼발가락 좌표 Z LHeel_x number Y 왼쪽 발꿈치 좌표 X LHeel_y number Y 왼쪽 발꿈치 좌표 Y LHeel_z number Y 왼쪽 발꿈치 좌표 Z RHeel_x number Y 오른쪽 발꿈치 좌표 X RHeel_y number Y 오른쪽 발꿈치 좌표 Y RHeel_z number Y 오른쪽 발꿈치 좌표 Z ○ annotation.json 구성표
구분 항목명 타입 필수여부 설명 1 video_path String Y 동영상 경로 (파일 이름 포함) 2 video_name String Y 동영상 파일 이름 3 video_duration Integer Y 동영상 길이(초) 4 video_type String Y 동영상 타입 (avi) 5 annotations Object List Y 라벨링 정보를 포함하는 리스트 5-1 annotation_no Integer Y 동작 라벨링 순번 5-2 start_time Float Y 구간 시작 시간(초) 5-3 end_time Float Y 구간 종료 시간(초) 5-4 start_frame Integer Y 구간 시작 프레임 5-5 end_frame Integer Y 구간 종료 프레임 5-4 motion_category1 String Y 동작 대분류 5-5 motion_category2 String Y 동작 중분류 5-6 motion_category3 String Y 동작 소분류 5-7 motion_category4 String Y 정상/세부 오류 구분 6 actor Object Y 동작 시연자 정보 6-1 actor_level Integer Y 시연자의 숙련도 6-2 actor_height String Y 시연자의 키 6-3 actor_gender Integer Y 시연자의 성별 6-4 actor_age String Y 시연자의 만 나이 ○ annotation.json 실제 예시
{
"video_path": "피겨/basic.avi",
"video_name": "Motion2-2.avi"
"video_duration": 0.0,
"video_type": "avi",
"annotations": [
{
"annotation_no": 1,
"start_frame": 232,
"end_frame": 566,
"motion_category1":"피겨",
"motion_category2":"step",
"motion_category3":"crossover",
"motion_category4": "정상"
},
{
"annotation_no": 2,
"start_frame": 232,
"end_frame": 566, "motion_category1":"피겨",
"motion_category2":"step",
"motion_category3":"crossover",
"motion_category4": "정상"
}
],
"actor":{
"actor_level":1,
"actor_height":170,
"actor_gender":1,
"actor_age":24
}
} -
데이터셋 구축 담당자
수행기관(주관) : (주)이랜서
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 한제만 02-3468-0022 smile@elancer.co.kr 사업 총괄 / 데이터 획득 / 품질관리 및 교육 수행기관(참여)
수행기관(참여) 기관명 담당업무 인하대학교 산학협력단 데이터 정의 / AI 모델 개발 (주)어노테이션에이아이 크라우드 플랫폼 / 품질관리 툴 (주)라온비엔피 크라우드 소싱 / 데이터 정제 / 품질관리 툴 연세대학교 산학협력단 데이터 관리 / 품질관리 대한빙상경기연맹 품질관리 / 피겨 원시데이터 제공 (주)라까사웍스 품질관리 / 크로스핏 원시데이터 제공 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 한제만 02-3468-0022 smile@elancer.co.kr
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.