NEW 사람 행동 인식 로봇 자율 행동 데이터
- 분야로보틱스
- 유형 비디오
- 생성 방식LMM
-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2025-06-30 데이터 최종 개방 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2025-06-30 산출물 전체 공개 소개
서비스 대상자가 서비스 키오스크 스크린을 조작하는 것을 촬영한 비디오와 서비스 대상자 식별, 사용 로그 등 매칭 데이터셋 구축 및 제공
구축목적
자동 서비스 시스템(서비스 로봇, 키오스크 등)에 장착된 센서 정보를 바탕으로 서비스 대상자의 특징(노인, 어린이 등)을 파악해서 맞춤형 서비스를 제공하기 위한 데이터
-
메타데이터 구조표 데이터 영역 로보틱스 데이터 유형 비디오 데이터 형식 mp4 데이터 출처 자체 수집 라벨링 유형 영상 구간 세그멘테이션, 행동 정보 태깅, Key Point, 비디오 캡셔닝 라벨링 형식 json 데이터 활용 서비스 서비스 로봇 데이터 구축년도/
데이터 구축량2024년/49,211 건 (1,013 시간) -
1. 데이터 구축 규모
데이터 구축 규모 항목 구분 영상 클립수 비율(%) 성별 분포 남 23,971 43.95 여 30,572 56.05 합계 54,543 100 연령 분포 유소년(13세 이하) 2,561 4.7 청중장년 46,128 84.57 노년(65세 이상) 5,854 10.73 합계 54,543 100 환경 분포 교통 시설 3,842 7.81 의료 시설 3,704 7.53 다중 시설 4,735 9.62 공연 시설 3,155 6.41 교육 시설 10,812 21.97 복지 시설 2,445 4.97 공공 시설 2,768 5.62 편의 시설 7,581 15.41 무인 시설 3,656 7.43 관광 시설 6,513 13.23 합계 49,211 100 행동 구간 분포 탐색 34,938 37.31 사용 22,353 23.87 종료 22,123 23.62 기타 14,237 15.2 합계 93,651 100 2. 데이터 분포
-
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드1. 모델 개요
본 모델은 사람 행동 인식 및 키오스크 사용자 분석을 위해 개발된 AI 모델입니다. 주요 기능은 사용자 행동을 분석하고 특정 패턴을 기반으로 분류하는 것입니다. 해당 모델은 실시간 분석이 가능하며, 영상 데이터 기반으로 동작합니다.2. 모델 아키텍처
● 본 모델은 CNN 백본 기반의 특징 추출 네트워크와 Transformer 기반의 시퀀스 학습 구조를 포함합니다.
● CNN을 통해 이미지의 로컬 패턴을 분석하고, Transformer를 활용하여 시간적 관계를 학습하는 구조를 가집니다.
3. 입력 데이터
● 데이터 형식: 영상 데이터 (RGB 프레임)
● 입력 차원: [Batch Size, Frame, Height, Width, Channels]
● 프레임 수: 16~32 프레임 시퀀스 기반
● 해상도: 224x224 픽셀
● 채널: 3 (RGB)4. 출력데이터
● 출력 형식: 클래스별 확률 분포 (Softmax)
● 출력 차원: [Batch Size, Number of Classes]
● 예측 가능한 클래스: 탐색/사용/종료/기타5. 모델 수행 TASK
● 분류(Classification): 사용자의 성별, 나이대, 특정 행동을 분류하여 올바른 사용자 피드백 제공6. 학습 데이터셋
● 데이터 출처: 실제 키오스크 사용자의 행동이 녹화된 영상 데이터
● 데이터 구성: 49,211개의 라벨링된 비디오 클립
● 데이터 증강: 밝기 조절, 회전, 랜덤 크롭 등 -
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드1. 데이터 구성
데이터 구성 No 항목명 타입 구분 항목 설명 예시 1 filename string 필수 원천데이터 이름 “0001_10110405.mp4” 2 id string 필수 ID “000001” 3 format string 선택 포맷 “mp4” 4 size number 선택 파일 크기(MB) 240 5 width_height number 선택 동영상 가로/세로길이 1024, 1024 6 StartTime Timestamp 필수 행동 시작 시간 "2024-07-01T10:00:00Z" 7 EndTime Timestamp 필수 행동 종료 시간 "2024-07-01T10:01:00Z" 8 ServiceEnvironment number 필수 1 교통 시설 1 2 의료 시설 3 다중 시설 4 공연 시설 5 교육 시설 6 복지 시설 7 공공 시설 8 편의 시설 9 무인 시설 10 관광 시설 9 gender number 선택 1 남 1 2 여 10 Age string 선택 나이 “24” 11 기타 String 선택 사용자 설문 조사 기반 기타 정보(키, 몸무게, 장애 정보 등) "165, 53, N" 12 Caption txt 필수 서비스 설명 데이터 "{세부업종}{업종}에서 {mm-dd}{요일}{시간대}에 촬영된 동영상이다. 이 동영상을 촬영한 카메라는 {위치}에 설치되어 있고, {촬영각도}{구조물 특성}" 13 InteractionType String 선택 사용자와 장치 간의 상호작용 유형 "Touchscreen" 14 SensorData JSON 선택 센서로부터 수집된
추가 데이터{"SensorID": "S789", "Data": "xyz"} 2. 어노테이션 포맷
어노테이션 포맷 구분 속성명 타입 필수여부 설명 범위 비고 1 meta_data Object Y 기본 정보를 담는 최상위 객체 1-1 filename String Y 원본 영상 파일명 - *.mp4 형식 1-2 format String Y 파일 포맷 - 1-3 size Number Y 파일 크기 - MB 단위 1-4 width_height Array Y 영상 해상도 - [너비, 높이] 1-5 environment Number Y 서비스 환경 1-10 1 교통 시설 2 의료 시설 3 다중 시설 4 공연 시설 5 교육 시설 6 복지 시설 7 공공 시설 8 편의 시설 9 무인 시설 10 관광 시설 1-6 frame_rate Number Y 프레임 속도 15 fps 1-7 total_frames Number Y 총 프레임 수 - 1-8 camera_height number N 카메라 설치 높이 - cm 1-9 camera_angle number N 카메라 설치 각도 - 도 2 additional_info Object N 부가 정보를 담는 객체 2-1 InteractionType String N 상호작용 유형 "Touchscreen" 3 annotations Object Y 행동 구간 정보를 담는 배열 3-1 space_context String Y 공간 정보에 대한 캡션 - 자연어 설명 3-2 user_num Number N 사용자 수 - 0부터 시작 3-3 target_objects Array Y 타겟 고객 식별 정보 - 3-3-1 target_objects.object_id Number Y 타겟 고객 식별 번호 - 3-3-2 target_objects.age Number Y 연령대 1-3 1: 유소년 2: 청중장년 3: 노년 3-3-3 target_objects.gender Number Y 성별 1-2 1: 남성 2: 여성 3-3-4 target_objects.disability Number Y 장애 유무 1-2 1: 유 2: 무 3-4 segmentation Array Y 행동 구간 식별 정보 - 3-4-1 segmentation.segment_id Number Y 구간 식별자 - - 3-4-2 segmentation.action_type Number Y 행동 유형 - 1: 탐색 2: 사용 3: 종료 4: 기타 3-4-3 segmentation.start_frame Number Y 구간 시작 프레임 3-4-4 segmentation.end_frame Number Y 구간 종료 프레임 3-4-5 segmentation.duration Number Y 구간 지속 프레임 수 3-4-6 segmentation.keyframe String Y 구간 내 주요 프레임 3-4-6 segmentation.keypoints Array Y 키프레임에 대한 사용자 키포인트 정보 - 3-4-7-1 segmentation.keypoints.object_id Number Y 타겟 고객 식별 정보 3-4-7-2 segmentation.keypoints.keypoints Array Y 타겟 고객 키포인트 값 보이지 않는 경우 [0, 0] 처리 3. 데이터 포맷
• 원천데이터(동영상, 형식: MP4) - 가공데이터(형식: JSON)4. 실제 예시
[원천데이터]
[가공데이터] -
데이터셋 구축 담당자
수행기관(주관) : ㈜카이로스랩
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 나준채 070-4699-7340 david@kailoslab.com 사업 총괄 수행기관(참여)
수행기관(참여) 기관명 담당업무 베어로보틱스코리아(주) 데이터 수집, 검수 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 나준채 070-4699-7340 david@kailoslab.com 조용은 070-4699-7340 jdmeekboi@gmail.com AI모델 관련 문의처
AI모델 관련 문의처 담당자명 전화번호 이메일 정찬 070-4699-7340 channthehuman@gmail.com 나준채 070-4699-7340 david@kailoslab.com 저작도구 관련 문의처
저작도구 관련 문의처 담당자명 전화번호 이메일 조용은 070-4699-7340 jdmeekboi@gmail.com 나준채 070-4699-7340 david@kailoslab.com
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.
오프라인 데이터 이용 안내
본 데이터는 K-ICT 빅데이터센터에서도 이용하실 수 있습니다.
다양한 데이터(미개방 데이터 포함)를 분석할 수 있는 오프라인 분석공간을 제공하고 있습니다.
데이터 안심구역 이용절차 및 신청은 K-ICT빅데이터센터 홈페이지를 참고하시기 바랍니다.
국방데이터 개방 안내
본 데이터는 국방데이터로 군사 보안에 따라 AI허브에서 데이터를 제공하지 않으며,
군 담당자를 통한 별도의 사용 신청이 필요합니다.