외부 지식 기반 멀티모달 질의응답 데이터
- 분야한국어
- 유형 텍스트 , 이미지
-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.1 2023-12-29 데이터 최종 개방 1.0 2023-05-04 데이터 개방 (Beta Version) 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2024-01-10 산출물 전체 공개 소개
인간이 가진 상식적인 지식이나 배경지식을 바탕으로, 이미지에 관련한 질문에 대해 이미지 속에서 답을 찾아야 하는 태스크
구축목적
이미지 내에 나타나는 객체, 장면, 행동에 관련한 질문에 대해 외부 지식을 활용한 추론 과정을 거쳐 답변을 생성하기 위한 VQA 데이터 구축
-
메타데이터 구조표 데이터 영역 한국어 데이터 유형 텍스트 , 이미지 데이터 형식 jpg 데이터 출처 WIKIMEDIA COMMONS, DBpedia, ConceptNet 라벨링 유형 질의응답(자연어), 바운딩박스(이미지) 라벨링 형식 json 데이터 활용 서비스 챗봇 서비스 데이터 구축년도/
데이터 구축량2022년/이미지 : 60,084장, 라벨링 : 2건 (질의응답 : 120,168건/b-box : 60,084건/KB : 284,565건) -
□ 데이터 구축 규모
과제번호 과제명 항목 수량 데이터 형식 데이터 상세 2-033-155 외부 지식 기반 멀티모달 질의응답 데이터 이미지 데이터 60,084건 JPG - 해상도 480x640이상 1280x720 이하 라벨링 데이터 2건
(질의응답 120,168건, b-box 60,084건)
(별도 : kb 284,565건)JSON - 사실 근거(KB) 60,000건 이상
- vqa json : 질의응답 120,168건, b-box 60,084건
- kb json : 사실 근거(KB) 284,565건□ 데이터 수집 카테고리 분포
카테고리 구성비 문화 29.82% 생물 18% 물체 25% 식물 9% 스포츠 4% 교통 6% 사회 1% 나라 2% 한국적
이미지5.18% -
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드□ 기타 정보
● 포괄성
- 전체 위키피디아 문서 620,206 중 1,804개의 (일반명사) 문서 대상
- 전체 1,000개의 ImageNet Class 중 714개의 Object를 포함
● 독립성
- 수집된 Image 데이터의 경우 Wikimedia에 존재하며 수집 당시 라이센스가 Free인 것을 수집했음. 따라서 추후 공유된 이미지 링크가 삭제될 가능성 있음
- 수집된 DBpedia 지식의 경우 DBpedia가 업데이트 될 경우 수집된 지식 데이터와 실제 웹상에서 서비스되는 내용이 변경될 수 있음. 또한 Object의 명칭이 달라질 경우 URL link정보가 일치하지 않을 수 있음□ 외부 지식 기반 시각정보 질의응답 모델
● 모델 개요
- 시각질의응답(Visual Question Answering, VQA) 시스템은 자연어처리와 컴퓨터비전 기술을 결합하여 사용하는 멀티모달 태스크로서, 사용자로부터 주어진 이미지와 자연어 질문에 대해 자연어로 답변하는 질의응답 태스크임
- 멀티모달 모델에서 이종의 표현을 병합하는 방법을 fusion method라고 함. VQA시스템에서 흔히 사용하는 방법은 두 가지로, 이미지 표현과 질문 표현을 단순히 병합하는 concatenate method와 두 표현을 element-wise로 곱하는 dot product method가 널리 사용됨.● 멀티모달 질의응답 기본모델 개발내용
- 위의 그림은 VQA문제 해결을 위해 사용되는 일반적인 모델로 질문을 입력받아 BERT계열 모델을 통해 특징을 추출하고, 이미지를 입력받아 이미지 특성을 추출함. 그 후 질문 특징 벡터와 이미지 특징 벡터를 Element-wise 곱을 하여 FCNN의 입력으로 넣음.
- 기본 모델의 경우 경량화를 위해 지식정보 KB정보를 선택적으로 활용할 수 있도록 설계되었음. (KB학습에 GPU메모리가 많이 소요되어 일반인이 활용하기 어렵기 때문)
- KB정보를 활용할 경우 질의응답 Task를 학습하기 전에 이미지와 질의를 입력으로 연관된 지식을 찾는 pretraining을 적용할 수 있음.● 멀티모달 질의응답 퓨전모델 개발내용
- 퓨전 모델의 경우 각 모달리티(image, question, kb)의 representation을 fusion한 후, Fully-Connected Layer를 통과하기 전에 Transfomer Encoder Layer를 넣음. Transfomer Encoder Layer 내부의 Multi-Head Attention을 통해 중요한 Feature에 집중하게 한 후 Fully-Connected Layer를 통과시켜 답변을 얻음.
□ 응용 서비스
● 시각정보 질의응답 챗봇
- 시각정보기반 질의응답 시스템을 구현하고 이를 Restful API 형태로 챗봇 서비스와 연동하며, 챗봇 서비스는 Facebook Messenger 및 카카오톡 플랫폼을 지원하는 애플리케이션 개발.
● 시각정보기반 질의응답 챗봇 애플리케이션 구성도
-
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 외부 지식 기반 시각정보 질의응답 예측 모델 Question Answering KLUE-RoBERTa, ResNET50, Transformers, Vision Transformers Accuracy 27.84 % 55.18 %
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드□ 데이터 설명
● 외부 지식 기반 멀티모달 질의응답 데이터는 인간이 가진 상식적인 지식이나 배경지식을 바탕으로, 이미지에 관련한 질문에 대해 이미지 속에서 답을 찾아야 하는 태스크이다. 아래와 같이 첨성대에 대한 배경지식이나 농구공에 대한 상식지식을 바탕으로, 질문으로부터 이미지에 등장하는 개체 중 하나를 선택하여 답변하는 방식으로 구성되어 있다.
□ 라벨링 데이터 구성
● VQA 라벨링 데이터
구분 속성명 타입 필수여부 설명 비고 1 INFO Y 데이터 정보 1-1 DATASET_NAME string Y 데이터 세트 이름 1-2 VERSION string Y 데이터 버전 1-3 LICENSE string N 저작권 1-4 CREATE_DATE_TIME string N 데이터 생성일 1-5 CONTIRIBUTOR string N 작업자 1-6 URL string N 온라인 저작도구 플랫폼 URL 2 annotations Y 데이터 정보 2-1 IMAGE_ID string Y 이미지 ID IMAGE_ID는 자릿수에 따라 수집구분ID, 카테고리ID, 세부카테고리ID, 객체ID, 이미지 수집 날짜를 확인할 수 있음. 2-2 IMAGE_NAME string N 이미지 이름 2-3 KOREAN_IMAGE string Y 한국적 이미지 2-4 DIRECT_IMAGE string Y 직접 촬영 유무 2-5 ACTION string Y 행동 2-6 CAPTION string Y 자유로운 설명 데이터 2-7 IMAGE_ACQUISITION_DATE string N 이미지 수집일 yyyymmdd 2-8 IMAGE_URL string Y 이미지 URL 2-9 LICENSE string N 저작권 2-10 MAINOBJECT string Y 메인 객체 2-11 MAINOBJECT_URL string Y 메인 객체 URL 2-12 SCENE string Y 장면 2-13 SUBOBJECT_1 string N 서브 객체 2-14 SUBOBJECT_2 string N 서브 객체 2-15 WIDTH Number Y 이미지 너비 2-16 HEIGHT Number Y 이미지 높이 2-17 WIKI_FILE string Y 위키피디아 파일명 2-18 bounding_box 데이터 정보 2-18-1 BOX_ID string Y 바운딩 박스 ID 2-18-2 OBJECT string Y 객체 2-18-3 X_COORDINATE Number Y x좌표 2-18-4 Y_COORDINATE Number Y y좌표 2-18-5 BOX_WIDTH Number Y 바운딩 박스 너비 2-18-6 BOX_HEIGHT Number Y 바운딩 박스 높이 2-19 questions Y 데이터 정보 2-19-1 question_id string Y 질문 ID 2-19-2 visual_concept list Y 시각 자료의 유형 2-19-3 question_ko string Y 질문(한글) 2-19-4 question_en string N 질문(영어) 2-19-5 answer_ko string Y 정답(한글) 2-19-6 answer_en string N 정답(영어) 2-19-7 question_type list N 질의 유형 2-19-8 ans_source string N 정답 소스 2-19-9 kb_source string N KB 소스 2-19-10 fact string N Fact ● KB 라벨링 데이터
구분 속성명 타입 필수여부 설명 비고 1 INFO Y 데이터 정보 1-1 DATASET_NAME string Y 데이터 세트 이름 1-2 VERSION string Y 데이터 버전 1-3 LICENSE string N 저작권 1-4 CREATE_DATE_TIME string N 데이터 생성일 1-5 CONTIRIBUTOR string N 작업자 1-6 URL string N 온라인 저작도구 플랫폼 URL 2 knowledgebase Y 데이터 정보 2-1 fact Y 데이터 정보 2-1-1 KB string Y KB출처 2-1-2 e1_label string Y Entity1 라벨 2-1-3 e2_label string Y Entity2 라벨 2-1-4 surface_ko string Y triple (한글) 2-1-5 surface_en string N triple (영어) 2-1-6 sources string Y Triple or PlainText 2-1-7 r string Y relation 2-1-8 e1 string Y Entity1 2-1-9 e2 string N Entity2 □ 데이터 실제 예시
● 원천 데이터
● 라벨 데이터
-
데이터셋 구축 담당자
수행기관(주관) : 한밭대학교 산학협력단
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 임경태 02-970-9750 ktlim@seoultech.ac.kr 데이터 설계, 모델링 수행기관(참여)
수행기관(참여) 기관명 담당업무 ㈜유클리드소프트 데이터 설계, 데이터 가공, 데이터 검수 ㈜엠에이치소프트 데이터 설계, 데이터 수집, 데이터 정제 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 임경태 02-970-9750 ktlim@seoultech.ac.kr
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.