콘텐츠로 건너뛰기 메뉴로 건너뛰기 푸터로 건너뛰기
데이터를 불러오고 있습니다
데이터를 저장하고 있습니다
#컴퓨터비전 # 비디오 경계 # 타임스탬프 # 사건 유발 객체 # 유발 사건 설명

NEW 비디오 전환 경계 추론 데이터

비디오 전환 경계 추론 데이터 아이콘 이미지
  • 분야영상이미지
  • 유형 비디오
구축년도 : 2022 갱신년월 : 2023-11 조회수 : 1,719 다운로드 : 335 용량 :
샘플 데이터 ?

샘플데이터는 데이터의 이해를 돕기 위해 별도로 가공하여 제공하는 정보로써 원본 데이터와 차이가 있을 수 있으며,
데이터에 따라서 민감한 정보는 일부 마스킹(*) 처리가 되어 있을 수 있습니다.

※ 내국인만 데이터 신청이 가능합니다.

  • 데이터 변경이력

    데이터 변경이력
    버전 일자 변경내용 비고
    1.1 2023-11-15 데이터 최종 개방
    1.0 2023-07-31 데이터 개방(Beta Version)

    데이터 히스토리

    데이터 히스토리
    일자 변경내용 비고
    2024-01-05 산출물 전체 공개

    소개

    영상 내 사건 경계 타임스탬프, 바운딩 박스, 사건 경계별 상황에 대한 자연어 캡션을 통한 영상 속 등장 인물 및 사물의 행동을 포괄적으로 이해하기 위한 인공지능 학습 데이터를 구축주류 객체 정보 수집 및 자연어 묘사 데이터가 포함된 멀티모달 데이터 수집

    구축목적

    본 세부과제에서는 실세계 미디어 영상으로부터 화면 전환의 경계를 추론하여 주요 장면 요약, 광고 삽입 등 다양한 응용에 활용할 수 있는 인공지능 모델을 학습할 수 있도록 하는 학습용 영상 데이터를 구축하고자 함
  • 1. 데이터구축 수량
     영상 : 184,699개

     

    2. 데이터 분포

    D2 원천데이터 시간
    드라마 51749 51749 862시간 29분
    음악  10033 24327 405시간 27분
    반려동물  11636 22502 375시간 2분
    스포츠  13165 22937 382시간 17분
    여행  33930 64858 1080시간 58분
    엔터  10284 36412 606시간 52분
    요리  14719 23311 388시간 31분
    일상  16541 60009 1000시간 9분
    패션뷰티  9686 21866 364시간 26분
    헬스건강  12956 36920 615시간 20분
    합계 184699 360219 6081시간 31분

     

    구분 수량(개)
    0분<길이≤1분                 124,697
    1분<길이≤3분                  30,001
    3분<길이≤5분                  30,001
    합계               184,699
  • 저작도구 설명서 및 저작도구 다운로드

    저작도구 설명서 다운로드 저작도구 다운로드
  • AI 모델 상세 설명서 다운로드

    AI 모델 상세 설명서 다운로드 AI 모델 다운로드

    ㅇ 학습모델
      GEBD(Generic Event Boundary Detection) 모델은 긴 시간의 비디오를 샷, 이벤트 등을 구분하여 자연스럽게 비디오를 의미 단위로 나누어 사람의 인지기능과 같이 긴 비디오 속에서도 지역적 특성을 찾는 “일반적인 사건 지점 탐색”을 목표로 하는 모델이다.

     

    ㅇ 데이터 셋 분할

    구분 학습(Learning) 검증(Validation) 시험(Test)
    데이터 역할 모델 학습 모델 과적합 방지 모델 검증 
    건수 및 비율 146,963 (80%) 18,369 (10%) 18,369 (10%)

     

    <데이터 사용 단계>

                                              <데이터 사용 단계>

     
    <모델 학습 예시>

                                               <모델 학습 예시>

     

    ㅇ 활용서비스
      컴퓨터 비전 영역
      ① 장면 전환 경계 탐색
       - 영상 내 장면 전환 경계 탐색 분야는 컴퓨터 비전 연구의 주요 분야 중 하나이며 국내에서도 다수의 연구실에서 높은 성과를 거두고 있음
       - 관련 연구실에서는 제안하는 데이터 셋을 활용하여 더욱 풍부한 실험을 통해 경쟁력 확보 가능
      ② 영상 장면 예측
       - 영상을 구성하는 장면들의 일반적인 흐름과 구조을 학습하여 앞으로 나올법한 장면을 예측하는 연구 가능
      ③ 영상 장면 구성 분석
       - 동일한 장면이지만 촬영 기법 상 장면 내에서 화면의 전환이 일어나는 경우가 있음
       - 사람이 악보를 보는 하나의 장면 내에서 카메라가 로우 앵글에서 하이 앵글로 변화하거나, 구조물 등으로 인해 화면이 전환되는 경우가 이에 해당됨
       - 화면 전환은 일반적으로 인공지능이 하나의 장면을 올바르게 하나라고 인식하지 못하도록 하는 장애물로서 작용하는데, 제안하는 데이터 셋을 학습하여 화면의 전환에 구애받지 않도록 하는 분야의 연구 가능
      ④ 영상 장면 설명문 데이터와 연계
       - 장면 전환 경계 탐색 분야를 기반으로, 영상 내 장면의 분할을 효율적으로 수행하는 인공지능을 장면 설명문을 위한 장면의 효율적인 탐색에 적용하여 설명문 생성 인공지능의 성능을 향상시키고자 하는 연구 가능

      미디어 콘텐츠 영역
      ① 하이라이트 소스 생성 서비스
       - 장면 간의 중요도를 판단하는 인공지능을 기반으로, 영상의 장면들을 분할하고 중요도가 높은 장면들을 엮어 하이라이트 영상의 소스를 제공하는 서비스 제공
      ② 영상 검색 서비스
       - 객체 검색 등을 함께 활용하여 특정 장면이 포함되어 있는 영상을 효율적으로 검색 하는 인공지능을 활용한 영상 검색 서비스 제공
      ③ 영상 추천 서비스
       - 영상의 장면들을 기반으로 사용자가 선호할만한 장면이 포함된 영상들을 추천하는 인공지능을 활용한 추천 서비스 제공

  • 데이터 성능 점수

    측정값 (%)
    기준값 (%)

    데이터 성능 지표

    데이터 성능 지표
    번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수
    1 비디오 전환 경계 추론 성능 Estimation Contrastive Learning Approach F1-Score@0.05 0.75 0.774

    ※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.

    ※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)

  • 설명서 및 활용가이드 다운로드

    데이터 설명서 다운로드 구축활용가이드 다운로드

     

    1. 데이터 설명

    구분 분류 설명
    원천데이터 도메인 드라마/반려동물_동물/스포츠/엔터테인먼트/여행/
    요리_음식/음악/일상/패션_뷰티/헬스_건강
    촬영날짜 220804
    파일 D2_DR_0804_000001.mp4
    데이터 2번 셋_도메인_영상촬영날짜_영상고유번호
    라벨링데이터 D2폴더 드라마/반려동물_동물/스포츠/엔터테인먼트/여행/
    요리_음식/음악/일상/패션_뷰티/헬스_건강
    JSON 파일 D2_DR_0824_000001.json
    데이터 2번 셋_도메인_영상촬영날짜_영상고유번호

     

    2. json 형식
     ▼video info {19}
        video_name: D2_AN_0531_000002.mp4
        width: 1920
        height: 1080
        frame_rate: 30
        duration: 60.0
        total_frame: 1800.0
        film_method: filmed_directly
        filmed_date: 2022-05-31
        domain_id: AN
        place": outdoor
        f1_consis: 1
        f1_consis_avg: 1,
        annotated_date: 2022-08-22
        version": 1
        revision_history: N/A
        ▼seg_annotator_id [5]
            282,
            ...
        seg_confirmer_id [5]
            331,
            ...
        distributor: selectstar
        ▼trigger_info {4} or {6}
                timestamps:
                    0:00.00000,
                    0:16.00000
                trigger: Change of action or Change due to cut
                trigger_object: 사건 유발 객체
                trigger_action: 사건 유발 설명문
                bbox:
                    x1: 0.47987416144579403,
                    y1: 0.19551638529754684,
                    x2: 0.5091957049242872,
                    y2: 0.35008483091943976
                time: 0:08.00000

     

    3. 어노테이션 포맷

    No. 항목명 타입 필수 설명
    1 video_name string y 비디오 파일명
    2 width number y 비디오 넓이
    3 height number y 비디오 높이
    4 frame_rate number y 프레임률(fps)
    5 duration number y 영상 시간 (초 단위)
    6 total_frame number y 총 프레임 수
    7 film_method string y 영상 촬영 날짜
    8 filmed_date string y 영상 수집 방법
    9 domain_id string y 도메인 아이디
    10 place string y 촬영 장소
    11 f1_consis number y 라벨러 수
    12 f1_consis_avg number y 라벨러 평균 수
    13 annotated_data string y 가공 날짜
    14 version number y 버전 정보
    15 revision_history string y 데이터 수정 횟수
    16 seg_annotator_id string y 라벨러 아이디
    17 seg_confirmer_id string y 검수자 아이디
    18 distributor string y 가공 업체명
    19 trigger_info{} array   유발 사건 정보
      19-1 timestamps string y 사건이 발생한 시점 또는 구간
    19-2 trigger string y 유발 사건
    19-3 trigger_object string y 사건 유발 객체
    19-4 action string y 유발 사건에 대한 설명문
    20 trigger_object_info[] object   유발 객체 bbox 정보
      20-1 trigger_object string y 사건 유발 객체
      20-2 bbox string n bounding box 좌표

     

     

    4. json 실제 예시

    {
        "video_name": "D2_AN_0531_000002.mp4",
        "width": 1920,
        "height": 1080,
        "frame_rate": 30,
        "duration": 60.0,
        "total_frame": 1800.0,
        "film_method": "filmed_directly",
        "filmed_date": "2022-05-31",
        "domain_id": "AN",
        "place": "outdoor",
        "f1_consis": [
            1
        ],
        "f1_consis_avg": 1,
        "annotated_date": "2022-08-22",
        "version": 1,
        "revision_history": "N/A",
        "seg_annotator_id": [
            282,
            161,
            336,
            807,
            618
        ],
        "seg_confirmer_id": [
            331,
            674,
            312,
            710,
            116
        ],
        "distributor": "selectstar",
        "trigger_info": [
            {
                "timestamps": [
                    "0:00.00000",
                    "0:16.00000"
                ],
                "trigger": "Change of action",
                "trigger_object": "휴대폰",
                "trigger_action": "여자가 휴대폰으로 사진을 찍는다.",
                "bbox": {
                    "x1": 0.47987416144579403,
                    "y1": 0.19551638529754684,
                    "x2": 0.5091957049242872,
                    "y2": 0.35008483091943976
                },
                "time": "0:08.00000"
            },
            {
                "timestamps": [
                    "0:15.92013",
                    "0:15.92013"
                ],
                "trigger": "Change due to cut",
                "trigger_object": "null",
                "trigger_action": "null"
            },
     

  • 데이터셋 구축 담당자

    수행기관(주관) : 스파크엑스
    수행기관(주관)
    책임자명 전화번호 대표이메일 담당업무
    최지민 jm.choi@teamsparkx.com 품질관리실무자
    수행기관(참여)
    수행기관(참여)
    기관명 담당업무
    국민대 데이터 품질관리
    이지원 데이터 수집
    브릭메이트 데이터 정제
    셀렉트스타 데이터 가공
    코테크시스템 AI 모델 개발
    데이터 관련 문의처
    데이터 관련 문의처
    담당자명 전화번호 이메일
    최지민 jm.choi@teamsparkx.com
보건의료 데이터 개방 안내

보건의료 데이터는 온라인 및 오프라인 안심존을 통해 개방됩니다.

안심존이란 안심존 이용메뉴얼 안심존 이용신청
  • 인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
    * 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
    * 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석

    1. AI 허브 접속
      신청자
    2. 안심존
      사용신청
      신청자신청서류 제출*
    3. 심사구축기관
    4. 승인구축기관
    5. 데이터 분석 활용신청자
    6. 분석모델반출신청자
  • 1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
    2. 기관생명윤리위원회(IRB) 승인된 연구계획서
    3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
    4. 안심존 이용 신청서 [다운로드]
    5. 보안서약서 [다운로드]
    ※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다.

  • 신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의

데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.

API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.

리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.

※ 파일 병합 리눅스 명령어

find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"

- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.

- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.

※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.