콘텐츠로 건너뛰기 메뉴로 건너뛰기 푸터로 건너뛰기
데이터를 불러오고 있습니다
데이터를 저장하고 있습니다
#시각정보 기반 질의응답

시각정보 기반 질의응답

시각정보 기반 질의응답
  • 분야한국어
  • 유형 텍스트 , 이미지
구축년도 : 2020 갱신년월 : 2021-06 조회수 : 5,471 다운로드 : 353 용량 :
샘플 데이터 ?

샘플데이터는 데이터의 이해를 돕기 위해 별도로 가공하여 제공하는 정보로써 원본 데이터와 차이가 있을 수 있으며,
데이터에 따라서 민감한 정보는 일부 마스킹(*) 처리가 되어 있을 수 있습니다.

※ 내국인만 데이터 신청이 가능합니다.

  • 데이터 변경이력

    데이터 변경이력
    버전 일자 변경내용 비고
    1.0 2021-06-18 데이터 최초 개방

    데이터 히스토리

    데이터 히스토리
    일자 변경내용 비고
    2022-10-13 신규 샘플데이터 개방

    소개

    이미지와 이미지에 대한 질문과 대답으로 구성된 시각정보 기반 질의응답(Visual Question Answering, VQA) 데이터셋을 구축하여 시각정보 기반 질의응답 기술 연구의 학습용 데이터셋으로 활용 가능한 이미지 데이터 제공

    구축목적

    시각정보기반 질의응답 데이터셋을 구축하고 시각장애자 지원용 질의응답 서비스 시범 모델을 개발
  • 구축 내용 및 제공 데이터량

    • 데이터 100만개 이미지사용
      구축 내용 및 제공 데이터량
      데이터 출처 데이터 이름 수집 이미지 수 객체 3개 이상
      분류 이미지 수
      라이선스 여부
      MIT indoor image dataset 15,620 2,098 open
      MIT ADE20K 20,210 1,740 open
      MIT brussell 181,870 7,856 open
      Stanford Unv Visual Genome 88,733 27,765 open
      Stanford Unv dog dataset 20,580 1,212 open
      Stanford Unv Stanford cars dataset 8,144 208 open
      Google Google's Open Image 461,783 18,257 open
      Appen Open Image Dataset 9,000,000 151,601 open
      Caltech Caltech Pedestrian Database 55,753 666 open
      Euclidsoft Euclidsoft 240 26 open
      Central Florida Unv Isun 59,000,000 1,027,219 open
          68,852,933 1,238,648  

     

    • 시각장애인 생활 공간 이미지 데이터 35만개 사용
    • 총 135만장으로 질문,답변 데이터셋 750만개 구축
  • 저작도구 설명서 및 저작도구 다운로드

    저작도구 설명서 다운로드 저작도구 다운로드
  • AI 모델 상세 설명서 다운로드

    AI 모델 다운로드
  • 데이터 성능 점수

    측정값 (%)
    기준값 (%)

    데이터 성능 지표

    데이터 성능 지표
    번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수
    1 VQA 모델 성능 Question Answering Faster RNN, attention BLEU 0.42 0.5157

    ※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.

    ※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)

  • 설명서 및 활용가이드 다운로드

    데이터 설명서 다운로드 구축활용가이드 다운로드

    데이터 변경이력

    데이터 변경이력
    버전 일자 변경내용 비고
    1.0 2021.06.18 데이터 최초 개방  

    구축목적

    • 시각정보기반 질의응답 데이터셋을 구축하고 시각장애자 지원용 질의응답 서비스 시범 모델을 개발

    활용분야

    • 소방 안전분야(소방 규정 미흡 자동 확인 서비스), 생활 안전분야(기각정보 기반 위험인지), 육아 보조(위험 객체 분석 알림), 시각장애인 보행 보조 어플리케이션(TTS 알림 어플), 실내 기구 가상 배치 서비스(3D공간 스캔), 건축 설계분야(스캔맵을 통한 도면화), 스마트행정(독거노인 응급 상황 신고 서비스) 등

    주요 키워드

    • 시각정보 기반 질의응답, 인공지능 학습용 데이터, 데이터 수집, 데이터가공, 데이터셋, 어노테이션

    소개

    • 시각정보기반 질의응답(Visual Question Answering, VQA) 기술연구의 학습용 데이터셋을 이미지와 이미지에 대한 질문과 대답으로 구성된 시각정보기반 질의응답 데이터셋 구축

    구축 내용 및 제공 데이터량

    • 데이터 100만개 이미지사용
      구축 내용 및 제공 데이터량
      데이터 출처 데이터 이름 수집 이미지 수 객체 3개 이상
      분류 이미지 수
      라이선스 여부
      MIT indoor image dataset 15,620 2,098 open
      MIT ADE20K 20,210 1,740 open
      MIT brussell 181,870 7,856 open
      Stanford Unv Visual Genome 88,733 27,765 open
      Stanford Unv dog dataset 20,580 1,212 open
      Stanford Unv Stanford cars dataset 8,144 208 open
      Google Google's Open Image 461,783 18,257 open
      Appen Open Image Dataset 9,000,000 151,601 open
      Caltech Caltech Pedestrian Database 55,753 666 open
      Euclidsoft Euclidsoft 240 26 open
      Central Florida Unv Isun 59,000,000 1,027,219 open
          68,852,933 1,238,648  

     

    • 시각장애인 생활 공간 이미지 데이터 35만개 사용
    • 총 135만장으로 질문,답변 데이터셋 750만개 구축

    대표도면

    시각정보 기반 질의응답- 대표도면- 시각정보 질의응답 학습데이터 구축 프로세스

     

    필요성

    • 자율주행, 로봇, XR 등 지능형 산업이 발전하면서 시각지능 분야에 대한 사회적 요구 대두
    • 국내 시각지능관련 기술(VQA, GQA) 역량은 세계 대회에서 매년 우수한 성적을 거두지만 한국 환경에 맞는 한국어 VQA AI 데이터는 부족하여 국내에 특화된 미래 산업을 준비하는데 어려움이 있음
    • 한국형 VQA 학습 데이터 부족으로 한국형 VQA 알고리즘 개발 및 연구가 미흡한 실정
    • 코로나19 펜데믹 선언 후 취업 취약계층의 증가, 소득의 급감 등 사회적 취약계층이 어려움을 호소 중으로 비대면 일자리의 사회적 수요 증가
    • “百聞不如一見 - 백번듣는 것이 한 번 보는 것보다 못하다.” 시각장애인에게 시각정보기반 AI는 매우 소중하게 활용된다. 자율주행, 교육, 산업용로봇, 재해대응 등 모든 분야에서 활용도가 상승할 것으로 예상
    • 개인이 VQA 학습용 데이터를 수집하는데 한계가 있음. 국가 지원을 통한 생태계 구축으로 개발자들의 적극적인 참여를 독려

    데이터 구조

    시각정보 기반 질의응답- 데이터 구조

  • 데이터셋 구축 담당자

    수행기관(주관) : 유클리드소프트
    수행기관(주관)
    책임자명 전화번호 대표이메일 담당업무
    박주한 042-488-6589 jhpark@euclidsoft.co.kr · 전체 과제에 대한 총괄, 책임 및 관리 · VQA 데이터 수집, 정제, 가공 및 구축 · VQA 데이터셋 설계, 검수 및 유효성 검증 · VQA 데이터를 활용한 서비스 모델의 시범 구축 방안 제시 · 데이터셋 해커톤 경연대회 개최 · VQA 데이터셋의 공개
    수행기관(참여)
    수행기관(참여)
    기관명 담당업무
    공주대학교산학협력단 · 시각장애자 AI 자율안내 서비스용 모델 개발과 질의응답 데이터셋 검증
    · VQA 데이터셋과 서비스 모델의 유의미 분석
    · 경연대회결과에 대한 통계적 분석
    터치스톤 · 시각장애자 AI 자율안내 서비스용 데이터 획득
    · VQA 학습데이터의 질의응답 데이터 구축
    · VQA 데이터셋 서비스 모델의 서비스 검증과 활용
    한국원자력연구원 · 데이터 저작도구 개선
    · VQA 데이터를 활용한 전문분야 서비스 모델의 개발
    · VQA 활용 모델의 질의응답 유효성 검증과 전문분야 실증
    데이터 관련 문의처
    데이터 관련 문의처
    담당자명 전화번호 이메일
    안성빈(유클리드소프트) 042-488-6589 sbahn@euclidsoft.co.kr
보건의료 데이터 개방 안내

보건의료 데이터는 온라인 및 오프라인 안심존을 통해 개방됩니다.

안심존이란 안심존 이용메뉴얼 안심존 이용신청
  • 인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
    * 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
    * 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석

    1. AI 허브 접속
      신청자
    2. 안심존
      사용신청
      신청자신청서류 제출*
    3. 심사구축기관
    4. 승인구축기관
    5. 데이터 분석 활용신청자
    6. 분석모델반출신청자
  • 1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
    2. 기관생명윤리위원회(IRB) 승인된 연구계획서
    3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
    4. 안심존 이용 신청서 [다운로드]
    5. 보안서약서 [다운로드]
    ※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다.

  • 신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의

데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.

API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.

리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.

※ 파일 병합 리눅스 명령어

find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"

- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.

- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.

※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.