※ 한국적 영상 이해 데이터는 샘플데이터만 올라가 있으며, 추후 공개될 예정입니다.
-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2025-06-30 데이터 최종 개방 샘플 우선 개방 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2025-06-30 산출물 전체 공개 소개
한국에서 제작 및 유통되는 다양한 종류의 영상 (방송 콘텐츠, 유튜브 등)의 상세 이해를 위한 데이터
구축목적
● 한국에서 제작 및 유통되는 다양한 종류의 영상 (방송 콘텐츠, 유튜브 등)의 상세 이해를 위한 멀티모달 이미지-텍스트 데이터 구축 ● 이미지에 대한 상세 설명(Detailed Description) 데이터를 구축하여 이미지에 대한 직관적 이해뿐 아니라 상황적이고 맥락적인 이해가 가능하도록 학습 데이터 구축
-
메타데이터 구조표 데이터 영역 영상이미지 데이터 유형 텍스트 , 이미지 , 비디오 데이터 형식 mp4 및 png(or jpeg) 데이터 출처 SBS 라벨링 유형 영상 검색 (이미지/동영상) 라벨링 형식 json 데이터 활용 서비스 이미지를 토대로 영상 검색 데이터 구축년도/
데이터 구축량2024년/원천데이터 (영상) 7,822건 원천데이터 (이미지) 41,000장 라벨링데이터 (텍스트) 41,000파일(410,000문장) -
- 데이터 구축 규모
데이터 구축 규모 구축 데이터 담당기관 수량 ① 영상 트위그팜 7,822건 ➁ 이미지 41,000장 ➂ 텍스트 41,000파일(410,000문장) - 데이터 분포
데이터 분포 구분 1차 경로 2차 경로 3차 경로 제출 수량 1. 원천데이터 video AP - 513 CA - 916 EI - 525 FO - 1,189 NW - 1,029 RL - 1,634 SF - 114 SL - 911 ST - 991 image Blur AP 2,868 Blur CA 3,227 Blur EI 2,749 Blur FO 7,993 Blur NW 3,516 Blur RL 10,117 Blur SF 570 Blur SL 4,945 Blur ST 5,015 2. 라벨링데이터 AP - - 2,868 CA - - 3,227 EI - - 2,749 FO - - 7,993 NW - - 3,516 RL - - 10,117 SF - - 570 SL - - 4,945 ST - - 5,015 총 수량 영상 7,822 이미지 41,000 텍스트 41,000 ※ AP: Animal&Plant (동식물), CA: Culture&Art (문화 예술), EI: Economy&Industry (경제 산업 일상), Fo: Food (음식), NW: Nature&Weather (자연기상), RL: Region&Landmark (지역 랜드마크), SF: Science Fiction (특수촬영), SL: Sports&Leisure (스포츠 레저), ST: Science&Technology (과학 기술)
-
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드유효성 검증 모델 학습 및 검증 조건 유효성 검증 모델 학습 및 검증 조건 개발 언어 Python 3.10.13 프레임워크 torch (2.0.1+cu118) 학습 알고리즘 VAST 학습 조건 "gradient_accumulation_steps":1,
"clip_lr":5e-7,
"optim":"adamw",
"learning_rate":1e-4,
"betas":[0.9, 0.98],
"weight_decay":0.01,
"grad_norm":2.0,
"warmup_ratio":0.1,
"resume":false,
"seed":50,
"fp16":true,
"bf16":false,
"zero_shot":false,
"scheduler":"warmup_linear"파일 형식 원본 데이터: png, json 전처리 후 데이터: img, json 전체 구축 데이터 대비
모델에 적용되는 비율100% (모델에 입력되는 input의 형태를 고려하여 이미지 41,000개를 video format으로 변경한 후 학습에 이용)
- 이미지: 총 41,000건 (영어, 한글)모델 학습 과정별
데이터 분류 및 비율 정보영어, 한글
- Training: 38,950건
- Validation: - 건
- Test: 2,050건
- 총 41,000건카테고리 이미지 (건) train test RL 9,649 468 CA 3,050 177 FO 7,597 396 NW 3,329 187 SL 4,673 272 ST 4,762 253 EI 2,617 132 AP 2,722 146 SF 551 19 합계 38,950 2,050 (약 95%) (약 5%) ※ AP: Animal&Plant (동식물), CA: Culture&Art (문화 예술), EI: Economy&Industry (경제 산업 일상), Fo: Food (음식), NW: Nature&Weather (자연기상), RL: Region&Landmark (지역 랜드마크), SF: Science Fiction (특수촬영), SL: Sports&Leisure (스포츠 레저), ST: Science&Technology (과학 기술)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드- 데이터 구성
데이터 구성 구분 1레벨 2레벨 3레벨 1. 원천데이터 video AP - CA - EI - FO - NW - RL - SF - SL - ST - image Blur AP Blur CA Blur EI Blur FO Blur NW Blur RL Blur SF Blur SL Blur ST 2. 라벨링데이터 AP - - CA - - EI - - FO - - NW - - RL - - SF - - SL - - ST - - ※ AP: Animal&Plant (동식물), CA: Culture&Art (문화 예술), EI: Economy&Industry (경제 산업 일상), Fo: Food (음식), NW: Nature&Weather (자연기상), RL: Region&Landmark (지역 랜드마크), SF: Science Fiction (특수촬영), SL: Sports&Leisure (스포츠 레저), ST: Science&Technology (과학 기술)
- 어노테이션 포맷
어노테이션 포맷 구분 속성명 타입 필수여부 설명 범위 비고 1 image object Y 이미지 메타 데이터 - - 1-1 image_id string Y 공동 작업 관리를 위해
부여한 이미지 번호- {video_id}_숫자4자리_숫자1자리 1-2 resolution string Y 이미지 픽셀 크기 360p~1080p - 1-3 DPI integer N 이미지 픽셀 밀도 null, 1~300 - 1-4 bitdepth integer N 이미지 심도 null, 1~32 - 1-5 image_categoty_1 string Y 이미지의 첫 번째 분류 - - 1-6 image_categoty_2 string Y 이미지의 두 번째 분류 - - 1-7 image_categoty_3 string Y 이미지의 세 번쨰 분류 - - 2 video object Y 영상 메타 데이터 - - 2-1 video_id string Y 공동 작업 관리를 위해
부여한 영상 번호- 영문2자리_숫자4자리 or
영문2자리_영문1자리숫자3자리2-2 timecode string Y 영상 내 프레임 타임코드 - hh:mm:ss 2-3 framerate integer N 영상의 초당 프레임 송출 20~30 - 2-4 video_category_1 string Y 영상의 첫 번째 분류 - - 2-5 video_category_2 string Y 영상의 두 번째 분류 - - 2-6 video_category_3 string Y 영상의 세 번째 분류 - - 2-7 production_year integer Y 영상 제작년도 1992~2024 - 2-8 media string Y 영상 취득매체 - - 2-9 reference string Y 영상 수집처 - - 2-10 copyright string Y 저작권 - SBS 3 context object Y 캡셔닝 데이터 - - 3-1 caption_en_1 string Y 이미지에 대한 영문 설명 1 3~200 - 3-2 caption_en_2 string Y 이미지에 대한 영문 설명 2 3~200 - 3-3 caption_en_3 string Y 이미지에 대한 영문 설명 3 3~200 - 3-4 caption_en_4 string Y 이미지에 대한 영문 설명 4 3~200 - 3-5 caption_en_5 string Y 이미지에 대한 영문 설명 5 3~200 - 3-6 caption_ko_1 string Y 이미지에 대한 국문 설명 1 3~200 - 3-7 caption_ko_2 string Y 이미지에 대한 국문 설명 2 3~200 - 3-8 caption_ko_3 string Y 이미지에 대한 국문 설명 3 3~200 - 3-9 caption_ko_4 string Y 이미지에 대한 국문 설명 4 3~200 - 3-10 caption_ko_5 string Y 이미지에 대한 국문 설명 5 3~200 - 3-11 word_per_caption_ko integer Y 국문 캡션 평균 어절 수 3~200 - 3-12 word_per_caption_en integer Y 영문 캡션 평균 어절 수 3~200 - 3-13 total_words_en integer Y 국문 캡션 어절 수 총합 15~999 - 3-14 total_words_ko integer Y 영문 캡션 어절 수 총합 15~999 - -
데이터셋 구축 담당자
수행기관(주관) : 트위그팜
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 최규동 02-1833-5926 ken.choi@twigfarm.net 총괄 담당자 수행기관(참여)
수행기관(참여) 기관명 담당업무 디노티시아 데이터 정제 및 AI 모델 개발, 유효성 검증 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 최규동 02-1833-5926 ken.choi@twigfarm.net 송수민 02-1833-5926 sumin.song@twigfarm.net AI모델 관련 문의처
AI모델 관련 문의처 담당자명 전화번호 이메일 이승재 02-588-1002 seungjae.lee@dnotitia.com 문성현 02-588-1002 sunghyun@dnotitia.com 저작도구 관련 문의처
저작도구 관련 문의처 담당자명 전화번호 이메일 최규동 02-1833-5926 ken.choi@twigfarm.net 송수민 02-1833-5926 sumin.song@twigfarm.net
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.
오프라인 데이터 이용 안내
본 데이터는 K-ICT 빅데이터센터에서도 이용하실 수 있습니다.
다양한 데이터(미개방 데이터 포함)를 분석할 수 있는 오프라인 분석공간을 제공하고 있습니다.
데이터 안심구역 이용절차 및 신청은 K-ICT빅데이터센터 홈페이지를 참고하시기 바랍니다.
국방데이터 개방 안내
본 데이터는 국방데이터로 군사 보안에 따라 AI허브에서 데이터를 제공하지 않으며,
군 담당자를 통한 별도의 사용 신청이 필요합니다.