-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.1 2023-12-20 데이터 최종 개방 1.0 2023-07-31 데이터 개방(Beta Version) 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2023-12-20 산출물 전체 공개 소개
■ 문장을 자동으로 생성하고 상황에 맞는 대답을 할 수 있는 지능형 어플리케이션 개발을 위한 문장 생성 학습용 데이터셋 ■ ‘한국어 일반 상식 문장 데이터 구축’ 과제 중 15-1 데이터(일반상식 문장 교정 데이터)에서 추출한 개념 정보(동사·명사, 체언, 용언)를 재구성하여 일반 상식에 부합하는 자연스러운 한국어 문장을 생성한 텍스트 데이터셋
구축목적
■ 다양한 한국어 일반상식 문장 및 개념집합을 활용해 사람이 생성한 문장으로서 인공지능을 훈련하기 위한 데이터셋
-
메타데이터 구조표 데이터 영역 한국어 데이터 유형 텍스트 데이터 형식 txt 데이터 출처 15-1 일반상식 문장 교정 데이터 라벨링 유형 내용요약(텍스트) 라벨링 형식 JSON 데이터 활용 서비스 ● 자연어처리 기반기술에 대한 연구 어플리케이션(질의응답, 대화, 요약 등)에 대한 적용 ● 다양한 산업에서 민원·응대 등에 활용되는 챗봇, AI 비서와 같은 지능형 시스템의 성능 향상 등 데이터 구축년도/
데이터 구축량2022년/508,120개 개념집합에 대해 개념집합 당 2개의 문장을 생성해 전체 1,016,240개 문장 -
1) 전체 문장수 : 1,016,240
2) 데이터 분포
❍ 생성문장 어절 수 분포 ❍ 문장당 단어 개수 분포 문장 어절수 수량 개념집합 개수 수량 비율(%) 합계 1,016,240 합계 1,016,240 100.00% 1 1 12 51,947 5.11% 4 106 13 95,850 9.43% 5 9,555 14 136,570 13.44% 6 106,180 15 190,601 18.76% 7 308,054 16 261,440 25.73% 8 373,723 17 279,832 27.54% 9 177,640 10 36,433 11 4,151 12 361 13 35 14 1 -
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드1) 학습 모델 후보
● 본 임무와 직접적으로 관련된 두 개의 선행 연구 Lin et al. (2019)와 Seo et al. (2021)을 중점적으로 비교 분석함
데이터 명 15-2 일반 상식 문장 생성 데이터 학습 모델 후보 알고리즘 성능지표 선정 여부 선정 사유 KoGPT2 Transformer의 디코더를 차용한 대표적인 자기 회귀 모델인 GPT2를 한국어로 사전학습한 모델. 앞선 n개의 토큰을 보고 다음 토큰을 예측하는 Causal language model ROUGE-2: 50.0, ROUGE-L: 50.0, Coverage: 70.0 이상 X Lin et al. (2019)에서 GPT2를 실험했고 이에 착안하여 Seo et al. (2021)에서 KoGPT2를 실험했음 KoBART Transformer 네트워크에 Denoising Auto Encoder (DAE) 기법을 적용한 BART를 한국어로 사전학습한 모델 ROUGE-2: 40.0, ROUGE-L: 50.0, Coverage: 70.0 이상 X Lin et al. (2019)에서 BART를 실험했고 이에 착안하여 Seo et al. (2021)에서 KoBART를 실험했음 mBART-50 BART를 한국어가 포함된 50개의 다국어로 학습한 모델 ROUGE-2: 50.0, ROUGE-L: 50.0, Coverage: 70.0 이상 ○ Lin et al. (2019)에서 BART를 실험했고 이에 착안하여 Seo et al. (2021)에서 mBART를 실험했음 KE-T5 학습과 추론을 모두 seq2seq 형식으로 일원화하여 다량의 데이터로 학습한 T5 모델을 한국어로 구현한 모델 ROUGE-2: 30.0, ROUGE-L: 50.0, Coverage: 70.0 이상 X Lin et al. (2019)에서 T5를 실험했으나 Seo et al. (2021)에서는 실험에 포함하지 않았음. 이에 자체적으로 실험을 진행함 한국어와 영어가 약 7:3 비율로 섞인 30GB 코퍼스로 학습했으며, 24개의 레이어와 16개의 헤드, 770M개의 모델 파라미터로 구성 현재 공개된 한국어 Seq2seq 모델 중 가장 큰 사이즈(770M)의 모델 Ko-GPT-Trinity KoGPT의 모델 파라미터 수를 12억 개로 늘린 모델 ROUGE-2: 10.0, ROUGE-L: 20.0, Coverage: 65.0 이상 X Lin et al. (2019)에서 GPT2를 실험했으나 Seo et al. (2021)에서는 실험에 포함하지 않았음. 이에 자체적으로 실험을 진행함 350억 개의 한국어 텍스트 토큰으로 72,000 스텝 동안 학습. 1.2B개의 모델 파라미터로 구성 모델 구조는 KoGPT2와 동일함 ● KoGPT2, KoBART, mBART-50은 Seo et al. (2021)에서 성능이 보고된 반면, KE-T5와 Ko-GPT-Trinity의 성능은 보고되지 않음. 이에 동일한 설정 하에 과제 준비 기간 동안 두 모델에 대해 예비 실험을 진행하였음
● 즉 Seo et al. (2021)에서 제안된 KommonGen 데이터를 해당 깃허브(https://github.com/ nlpai-lab/ KommonGen)에서 내려받고 해당 학습 데이터와 테스트 데이터를 이용해 실험을 진행함
● 이를 통해 보다 종합적으로 모델의 성능을 검증하고, 최종적으로 구현할 모델을 결정하고자 함
● 실험 결과항목 후보1 후보2 후보3 후보4 후보5 모델 KoGPT2 KoBART mBART-50 KE-T5 Ko-GPT-Trinity 근거 논문 보고 논문 보고 논문 보고 예비실험 예비실험 파라미터수 125M 124M 610M 770M 1.2B 품질 ROUGE-2 34.78 44.53 64.95 38.79 16.92 지표 ROUGE-L 53.02 60.64 73.9 57.17 31.19 Coverage 77.04 89.8 94.06 78.2 72.19 ● 실험 결과 분석
▸KE-T5은 KoGPT보다 근소하게 우세함
▸Ko-GPT-Trinity은 다섯 개의 모델들 중 가장 성능이 낮음
▸ROUGE-2/L, Coverage 모두 mBART-50가 가장 높은 성능을 보임
▸따라서 학습모델 후보군 중 가장 높은 성능을 보인 mBART-50을 최종 과제 수행시 구현하기로 결정함2) 학습 모델 개발
(개발 목표)
- 입력된 개념 정보를 활용하여 자연스러운 상식 문장을 생성하는 모델을 구축
예: (입력) 고양이 선반 올라가다 => (생성) 고양이가 선반에 올라가 있다(개발 내용)
- mBART
● 학습 모델은 페이스북에서 개발한 mBART(엠바트) 모델을 사용했습니다.
● 해당 모델은 한국어를 포함한 50여가지의 언어로 사전학습한 모델이며, 모델 사이즈가 다른 공개된 모델과 비교하여 더 커서, 한국어에서도 일반적으로 좋은 성능을 보여주고 있습니다.
● 해당 모델은 전형적인 sequence-to-sequence 모델로, 일정 조건(개념집합)을 인코더에서 입력 받아서 디코더에서 문장을 생성하는 구조입니다.
-
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 상식 문장 생성 성능 Text Generation Sequence-to-sequence 기반 모델 Coverage 0.7 단위없음 0.86 단위없음 2 상식 문장 생성 성능 Text Generation Sequence-to-sequence 기반 모델 ROUGE-2 50 % 52.68 % 3 상식 문장 생성 성능 Text Generation Sequence-to-sequence 기반 모델 ROUGE-L 50 % 64.7 %
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드1) 데이터 포맷 : JSON
2) 어노테이션 포맷
No. 속성명 항목 설명 타입 필수 작성예시 1 id 15-1 결과 ID string Y “6fae23cac514a1d2f35845be23e7ba72edc366fa181ab809e87a0a2af4214d41” 2 refId 15-1 참조문의 ID string Y “142000” 3 refSrc 15-1 참조문의 출처 string Y “stdict” 4 refText 15-1 참고용 텍스트 string N “여기에 이름을 적다.” 3 sentence 기본 문장 string Y “여기에 이름을 적다.” 4 concepts 개념집합 array of Concept Y 컨셉셋의 후보 4-1 stem 개념어 string Y “여기” 4-2 postag 개념어 품사 string Y “NP” 5 genSentences 생성문장 array of GeneratedSentence Y 새로이 생성한 문장의 배열 5-1 sentence_id 생성문장 id string Y “64614” 5-2 label-scenes 생성문장 string Y “사무실에 들어갈 때 여기에 이름을 적으면 됩니다.” 5-3 words 생성문장 단어수 integer Y 13 5-4 frame_text 생성문장 문형 string Y “N1에 들어갈 N2 N3에 N4를 적으면 되다.” 6 genSentences 생성문장 array of GeneratedSentence Y 새로이 생성한 문장의 배열 6-1 sentence_id 생성문장 id string Y “64615” 6-2 label-scenes 생성문장 string Y “여기에 이름을 적고 입장하면 가능합니다.” 6-3 words 생성문장 단어수 integer Y 12 6-4 frame_text 생성문장 문형 string Y “N1에 N2를 적고 입장하면 가능하다.” ) 실제 예시
[ {
"id": "14916a57229c5a10ce22eadb7665988edc7bf83112b5ea31a937fbd5ba14b2ac",
"refId": "21033",
"refSrc": "stdict",
"refText": "",
"sentence": "현대 사회는 생명 가치를 경시하는 풍조가 있다.",
"concepts": [
{
"stem": "있다",
"postag": "VA"
},
{
"stem": "현대",
"postag": "NNG"
},
{
"stem": "풍조",
"postag": "NNG"
},
{
"stem": "사회",
"postag": "NNG"
},
{
"stem": "생명",
"postag": "NNG"
},
{
"stem": "가치",
"postag": "NNG"
},
{
"stem": "경시",
"postag": "NNG"
}
],
"genSentences": [
{
"sentence_id": 2658,
"label-scenes": "현대 사회에 있는 풍조는 생명 가치를 경시하는 것이다.",
"words": 16,
"frame_text": "N1 N2에 있는 N3은 N4 N5를 경시하는 N6이다."
},
{
"sentence_id": 2659,
"label-scenes": "현대는 생명 가치를 경시하는 풍조가 있는 사회다.",
"words": 15,
"frame_text": "N1은 N2 N3를 경시하는 N4이 있는 N5다."
}
]
},
-
데이터셋 구축 담당자
수행기관(주관) : ㈜나라지식정보
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 송영숙 02-3141-7644 klanguage1004@gmail.com 총괄PM 수행기관(참여)
수행기관(참여) 기관명 담당업무 ㈜메트릭스 가공/검수 ㈜테스트웍스 저작도구 ㈜오투오 문형개발 ㈜튜닙 모델링 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 송영숙 02-3141-7644 klanguage1004@gmail.com
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.