콘텐츠로 건너뛰기 메뉴로 건너뛰기 푸터로 건너뛰기
데이터를 불러오고 있습니다
데이터를 저장하고 있습니다
#컴퓨터비전 # 객체인식 # 객체추적 # 영상 요약 # 질의응답

픽셀 단위 장면 인지 멀티모달 데이터

픽셀 단위 장면 인지 멀티모달 데이터 아이콘 이미지
  • 분야영상이미지
  • 유형 비디오 , 이미지
구축년도 : 2022 갱신년월 : 2023-11 조회수 : 4,822 다운로드 : 73 용량 :
샘플 데이터 ?

샘플데이터는 데이터의 이해를 돕기 위해 별도로 가공하여 제공하는 정보로써 원본 데이터와 차이가 있을 수 있으며,
데이터에 따라서 민감한 정보는 일부 마스킹(*) 처리가 되어 있을 수 있습니다.

※ 내국인만 데이터 신청이 가능합니다.

  • 데이터 변경이력

    데이터 변경이력
    버전 일자 변경내용 비고
    1.1 2023-11-03 데이터 최종 개방
    1.0 2023-07-26 데이터 개방(Beta Version)

    데이터 히스토리

    데이터 히스토리
    일자 변경내용 비고
    2023-12-27 산출물 전체 공개

    소개

    영상 내 모든 객체를 감지, 분할, 추적하기 위해 주류/비주류 객체 정보 수집 및 자연어 묘사 데이터가 포함된 멀티모달 데이터 수집

    구축목적

    본 세부과제에서는 다양한 실세계 미디어 영상으로부터 영상 내에서 객체들을 픽셀 단위로 인식 및 분류하여 다양한 응용에서 사용할 수 있도록 하는 영상 데이터를 구축하고자 함
  • 1. 데이터구축 수량
     영상 : 4,183개, 이미지 : 314,489장

     

    2. 데이터 분포

    2. 데이터 분포
    도메인 요건수량 개수
    instrument 412 412
    animal 412 412
    sports 412 434
    outdoor 412 414
    travel 412 414
    entertainment 207 233
    food 207 220
    furniture 207 214
    electronic 206 249
    appliance 206 206
    indoor 206 243
    office 206 227
    fashion/beauty 206 207
    health/life 289 298
    합계 4000 4183

     

     
    도메인 2초 3초
    instrument 212 200
    animal 203 209
    sports 220 214
    outdoor 214 200
    travel 212 202
    entertainment 118 115
    food 107 113
    furniture 118 96
    electronic 114 135
    appliance 91 115
    indoor 122 121
    office 111 116
    fashion/beauty 87 120
    health/life 152 146
    합계 2081 2102
  • 저작도구 설명서 및 저작도구 다운로드

    저작도구 설명서 다운로드 저작도구 다운로드
  • AI 모델 상세 설명서 다운로드

    AI 모델 상세 설명서 다운로드 AI 모델 다운로드

    학습모델
    ㅇ 픽셀 단위 객체 탐지 모델 
      - Segmentation 분야는 이미지 내의 객체를 픽셀 단위로 탐지하거나 해당하는 class로 분류한다. 그 중 Panoptic Segmentation은 모든 객체를 분리하여 탐지할 뿐만 아니라, 각 객체의 class도 분류한다.

     

    ㅇ 데이터 셋 분할

    ㅇ 픽셀 단위 객체 탐지 모델ㅇ 데이터 셋 분할
    구분 학습(Learning) 검증(Validation) 시험(Test)
    데이터 역할 모델 학습 모델 과적합 방지 모델 검증 
    건수 및 비율 243,515 (80%) 30,420 (10%) 30,029(10%)

     

    데이터 사용 단계

                                          <데이터 사용 단계>

     

    모델 학습 예시
                                                             <모델 학습 예시>

     

    ㅇ 비디오 질의응답 모델
      - Video QA 분야는 동영상 내의 사건이나 객체에 대해 질의하고 질문에 알맞은 응답을 하는 분야이다.
      - HCRN 모델은 CRN 네트워크 구조를 계층화하여 비디오를 파악하고 비디오에 등장하는 객체의 모양, 동작, 상태, 시간, 행동반복에 대한 질의를 잘 수행할 수 있다.

     

    ㅇ 데이터 셋 분할

    ㅇ 비디오 질의응답 모델ㅇ 데이터 셋 분할
    구분 학습(Learning) 검증(Validation) 시험(Test)
    데이터 역할 모델 학습 모델 과적합 방지 모델 검증 
    건수 및 비율 3,242 (80%) 405 (10%) 402(10%)

     

    데이터 사용 단계

                                          <데이터 사용 단계>

     

    모델 학습 예시

                              <모델 학습 예시>

     

    활용서비스
    ㅇ 컴퓨터 비전 영역
      ① 객체 탐지
       - 객체 탐지 관련 분야는 컴퓨터 비전 연구의 주요 분야 중 하나이며 국내에서도 다수의 구실에서 높은 성과를 거두고 있음
        - 관련 연구실에서는 제안하는 데이터 셋을 활용하여 더욱 풍부한 실험을 통해 경쟁력 확보
      ② 영상 장면 설명문 데이터와 연계
       - 객체 탐지 분야를 기반으로 장면 설명문의 대상이 되는 객체를 효율적으로 탐색하여 설명문 생성 인공지능의 성능을 향상시키고자 하는 연구 가능

    ㅇ 미디어 콘텐츠 영역
      ① 하이라이트 소스 생성 서비스
       - 장면 간의 중요도를 판단하는 인공지능을 기반으로, 영상의 장면들을 분할하고 중요도가 높은 장면들을 엮어 하이라이트 영상의 소스를 제공하는 서비스 제공
      ② 영상 검색 서비스
       - 객체 검색 등을 함께 활용하여 특정 장면이 포함되어 있는 영상을 효율적으로 검색 하는 인공지능을 활용한 영상 검색 서비스 제공
      ③ 영상 추천 서비스
       - 영상의 장면들을 기반으로 사용자가 선호할만한 장면이 포함된 영상들을 추천하는 인공지능을 활용한 추천 서비스 제공

  • 데이터 성능 점수

    측정값 (%)
    기준값 (%)

    데이터 성능 지표

    데이터 성능 지표
    번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수
    1 비디오 질의응답(한글) 성능 Question Answering HCRN Accuracy 60 % 77.66 %
    2 비디오 질의응답(영어) 성능 Question Answering HCRN Accuracy 70 % 74.74 %
    3 객체 탐지 성능 Object Detection Mask2Former PQ 50 % 71.58 %

    ※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.

    ※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)

  • 설명서 및 활용가이드 다운로드

    데이터 설명서 다운로드 구축활용가이드 다운로드

     

    1. 데이터 설명

    1. 데이터 설명
    구분 분류 설명
    원천데이터 카테고리 01. instrument/02. animal/03. sports/04. outdoor/
    05. travel/06. entertainment/07. food/08. furniture/
    09. electronic/10. appliance/11. indoor/12. office/
    13. fashion_beauty/14. health_life
    video_frames
    영상시간 2초 / 3초 (video_frames 폴더 제외)
    파일 D1_0913_전자피아노_20001.mp4
    데이터 1번 셋_영상촬영날짜_객체명_2초 영상고유번호
    (video_frames 이미지 파일로 별도 구분) 100_000.jpg
    카테고리id_이미지 고유id
    라벨링데이터 라벨 데이터 labels 폴더
    카테고리id_이미지 고유id
    JSON 파일 D1 폴더
    categories.json/segmentation_data.json/QNA_data.json

     

    2. json 형식
     2-1. segmentation.json
     ▼video meta data {13}
            video_id: 100,
            video_name: D1_0913_파스타-20001.mp4
            width: 1920
            height: 1080
            frame_rate: 30.0
            total_frame: 60
            duration: 2.00000
            annotated_date: 2022-09-17
            version: 1
            revised_history: 0,
            seg_annotator_id:
                "NI******"
            seg_confirmer_id:
                "NI******",
            distributor: SelectStar, Inc.,
     ▼segmentation info [2]
            ▼images: 
                    image_id: 100_000,

                    width: 1920,
                    height: 1080,
                    file_Name: 100_000.jpg
             ▼annotations: {7}
                    file_name: 100_000.png,
                    image_id: 100_000,
                    segments_info:
                            category_id: 56,
                            id: 7127040,
                            iscrowd: 0,
                            bbox:
                                313,
                                159,
                                1075,
                                782

     2-2. categories.json
     ▼category info: {5}
            supercategory: 음악,
            isthing: 1,
            id: 1,
            name: 전자바이올린,
            color: [16, 15, 186]

     2-3. QNA.json
     ▼video meta data {17}
            video_id: 4299,
            video_name: "D1_0915_서랍장_30010.mp4",
            width: 1920,
            height: 1080,
            duration: 3.0,
            frame_rate: 30.0,
            frames: 90,
            annotated_date: "2022-09-26",
            version: 1.0,
            ▼seg_annotator_id: [7]
                "NI******"
            ▼seg_confirmer_id: [7]
                "NI******"
            ▼kqna_annotator_id: [4]
                "MO***"      
            ▼kqna_confirmer_id: [4]
                "LE***"
            ▼eqna_annotator_id: [4]

                "KO***"
            ▼eqna_confirmer_id: [4]
                "KO***"
            "distributor: "SelectStar, Inc.",
            ▼qna_info: [4]
                    "ko_question": "영상 속에 드라이버가 등장하나요?",
                    "ko_answer": "네, 영상 속에 드라이버가 등장합니다.",
                    "en_question": "Does the screwdriver appear in the video?",
                    "en_answer": "Yes, the screwdriver appears in the video."

    3. 어노테이션 포맷
     3-1. segmentation.json

    3. 어노테이션 포맷 3-1. segmentation.json
    구 분 항목명 타입 필수 설명
    3 segmentation_data.json list   픽셀 단위 라벨링 정보 파일명
      3-1 video_id string 필수 비디오 고유 아이디
    3-2 video_name string 필수 비디오 파일 이름
    3-3 width integer 필수 비디오 가로 해상도
    3-4 height integer 필수 비디오 세로 해상도
    3-5 frame_rate float 필수 비디오 프레임 속도
    3-6 total_frame integer 필수 프레임 총 개수
    3-7 duration float 필수 비디오 길이
    3-8 annotated_date string 필수 가공 일자
    3-9 version float 필수 가공 버전
    3-10 revised_history integer 필수 수정 기록
    3-11 seg_annotator_id list 필수 가공 작업자 아이디
    3-12 seg_confirmer_id list 필수 가공 검수자 아이디
    3-13 distributor string 필수 가공기업
    3-14 images list 필수 이미지 정보
      3-14-1 image_id string 필수 이미지 고유 아이디
    3-14-2 width integer 필수 이미지 해상도 가로 길이
    3-14-3 height integer 필수 이미지 해상도 세로 길이
    3-14-4 file_name string 필수 이미지 파일 이름
    3-15 annotations list 필수 라벨 정보
      3-15-1 file_name string 필수 라벨 파일 이름
    3-15-2 image_id string 필수 이미지 고유 아이디
    3-15-3 segments_info list 필수 개별 라벨 정보
      3-15-3-1 category_id integer 필수 카테고리 아이디
    3-15-3-2 id list 필수 이미지 내 객체 아이디
    3-15-3-3 iscrowd integer 필수 중요라벨인 경우 0, 이외 1
    3-15-3-4 bbox list 필수 해당 라벨 바운딩 박스 좌표
    3-15-3-5 area integer 필수 해당 라벨의 픽셀 수

     

    3-2. categories.json

    3. 어노테이션 포맷 3-2. categories.json
    구 분 항목명 타입 필수 설명
    2 categories.json list   라벨 객체 카테고리 정보 파일명
      2-1 supercategory string 필수 객체 도메인(카테고리) 명
    2-2 isthing number 필수 배경인 경우 0, 객체인 경우 1
    2-3 id number 필수 객체 고유 아이디
    2-4 name string 필수 객체 이름
    2-5 color string 필수 카테고리 상 객체 고유 색깔

     

    3-3. QnA.json

    3. 어노테이션 포맷 3-3. QnA.json
    구 분 항목명 타입 필수 설명
    1 QNA.json list   질문 답변 데이터 파일명
      1-1 video_id string 필수 비디오 고유 아이디
    1-2 vido_name string 필수 비디오 파일 이름
    1-3 width number 필수 비디오 가로 해상도
    1-4 heigth number 필수 비디오 세로 해상도
    1-5 duration number 필수 비디오 길이
    1-6 frame_rate number 필수 비디오 프레임 속도
    1-7 frames number 필수 프레임 총 개수
    1-8 annotated_date string 필수 가공 일자
    1-9 version number 필수 가공 버전
    1-10 kqna_annotator_id string 필수 한국어 생성 작업자 아이디
    1-11 kqna_confirmer_id string 필수 한국어 검수 작업자 아이디
    1-12 eqna_annotator_id string 필수 영문 번역 작업자 아이디
    1-13 eqna_confirmer_id string 필수 영문 검수 작업자 아이디
    1-14 distributor string 필수 가공 기업
    1-15 qna_info array 필수 생성된 질의응답 목록
      1-15-1 ko_question string 필수 한국어 질문
    1-15-2 ko_answer string 필수 한국어 답변
    1-15-3 eng_question string 필수 영문 질문
    1-15-4 eng_answer string 필수 영문 답변
    1-15-5 qna_type number 필수 질문 유형

    4. JSON 실제 예시
     4-1. segmentation.json
     [
        {
            "video_id": 100,
            "video_name": "D1_0913_파스타-20001.mp4",
            "width": 1920,
            "height": 1080,
            "frame_rate": 30.0,
            "total_frame": 60,
            "duration": "2.00000",

            "annotated_date": "2022-09-17",
            "version": 1,
            "revised_history": 0,
            "seg_annotator_id": [
                "NI******",
                "NI******",
                "NI******",
                "NI******",
                "NI******",
                "NI*****",
                "NI*******",
                "..."
            ],
            "seg_confirmer_id": [
                "NI******",
                "NI******",
                "NI******",
                "NI******",
                "NI******",
                "NI*****",
                "NI*******",
                "..."
            ],
            "distributor": "SelectStar, Inc.",
            "images": [
                {
                    "image_id": "100_000",
                    "width": 1920,
                    "height": 1080,
                    "file_Name": "100_000.jpg"
                },
             "annotations": [
                {
                    "file_name": "100_000.png",
                    "image_id": "100_000",
                    "segments_info": [
                        {
                            "category_id": 56,
                            "id": 7127040,
                            "iscrowd": 0,
                            "bbox": [
                                313,
                                159,

                                1075,
                                782
                            ],
                            }
                          .......

     4-2. categories.json
        {
            "supercategory": "음악",
            "isthing": 1,
            "id": 1,
            "name": "전자바이올린",
            "color": "[16, 15, 186]"
        }

     4-3. QnA.json
     [
        {
            "video_id": 4299,
            "video_name": "D1_0915_서랍장_30010.mp4",
            "width": 1920,
            "height": 1080,
            "duration": 3.0,
            "frame_rate": 30.0,
            "frames": 90,
            "annotated_date": "2022-09-26",
            "version": 1.0,
            "seg_annotator_id": [
                "NI******",
                "NI******",
                "NI******",
                "NI******",
                "NI******",
                "NI*****",
                "NI*******",
                "..."
            ],
            "seg_confirmer_id": [
                "NI******",
                "NI******",
                "NI******",
                "NI******",
                "NI******",
                "NI*****",

                "NI*******",
                "..."
            ],
            "kqna_annotator_id": [
                "MO***",
                "CH***",
                "YU***",
                "KI***",
                "..."
            ],
            "kqna_confirmer_id": [
                "LE***",
                "CH***",
                "CH***",
                "SU***",
                "..."
            ],
            "eqna_annotator_id": [
                "KO***",
                "KW***",
                "CH***",
                "KI***",
                "..."
            ],
            "eqna_confirmer_id": [
                "KO***",
                "KW***",
                "CH***",
                "KI***",
                "..."
            ],
            "distributor": "SelectStar, Inc.",
            "qna_info": [
                {
                    "ko_question": "영상 속에 드라이버가 등장하나요?",
                    "ko_answer": "네, 영상 속에 드라이버가 등장합니다.",
                    "en_question": "Does the screwdriver appear in the video?",
                    "en_answer": "Yes, the screwdriver appears in the video."
                },
               ......
     ]

     

  • 데이터셋 구축 담당자

    수행기관(주관) : 스파크엑스
    수행기관(주관)
    책임자명 전화번호 대표이메일 담당업무
    최지민 jm.choi@teamsparkx.com 품질관리실무자
    수행기관(참여)
    수행기관(참여)
    기관명 담당업무
    국민대 데이터 품질관리
    이지원 데이터 수집
    브릭메이트 데이터 정제
    셀렉트스타 데이터 가공
    코테크시스템 AI 모델 개발
    데이터 관련 문의처
    데이터 관련 문의처
    담당자명 전화번호 이메일
    최지민 jm.choi@teamsparkx.com
보건의료 데이터 개방 안내

보건의료 데이터는 온라인 및 오프라인 안심존을 통해 개방됩니다.

안심존이란 안심존 이용메뉴얼 안심존 이용신청
  • 인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
    * 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
    * 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석

    1. AI 허브 접속
      신청자
    2. 안심존
      사용신청
      신청자신청서류 제출*
    3. 심사구축기관
    4. 승인구축기관
    5. 데이터 분석 활용신청자
    6. 분석모델반출신청자
  • 1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
    2. 기관생명윤리위원회(IRB) 승인된 연구계획서
    3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
    4. 안심존 이용 신청서 [다운로드]
    5. 보안서약서 [다운로드]
    ※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다.

  • 신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의

데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.

API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.

리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.

※ 파일 병합 리눅스 명령어

find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"

- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.

- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.

※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.