콘텐츠로 건너뛰기 메뉴로 건너뛰기 푸터로 건너뛰기
데이터를 불러오고 있습니다
데이터를 저장하고 있습니다
#자연어 #음성

일반상식 문장 생성 데이터

일반상식 문장 생성 데이터 아이콘 이미지
  • 분야한국어
  • 유형 텍스트
구축년도 : 2022 갱신년월 : 2023-07 조회수 : 1,023 다운로드 : 0
샘플 데이터 ?

샘플데이터는 데이터의 이해를 돕기 위해 별도로 가공하여 제공하는 정보로써 원본 데이터와 차이가 있을 수 있으며,
데이터에 따라서 민감한 정보는 일부 마스킹(*) 처리가 되어 있을 수 있습니다.

※ 23년 신규 개방되는 데이터로, 데이터 활용성 검토, 이용자 관점의 개선의견 수렴 등을 통해 수정/보완될 수 있으며 최종데이터, 샘플데이터, 산출물 등은 변경될 수 있습니다.

※ 내국인만 데이터 신청이 가능합니다.

  • 데이터 변경이력

    데이터 변경이력
    버전 일자 변경내용 비고
    1.0 2023-07-31 데이터 개방(Beta Version)

    소개

    ■ 문장을 자동으로 생성하고 상황에 맞는 대답을 할 수 있는 지능형 어플리케이션 개발을 위한 문장 생성 학습용 데이터셋
    
    ■ ‘한국어 일반 상식 문장 데이터 구축’ 과제 중 15-1 데이터(일반상식 문장 교정 데이터)에서 추출한 개념 정보(동사·명사, 체언, 용언)를 재구성하여 일반 상식에 부합하는 자연스러운 한국어 문장을 생성한 텍스트 데이터셋

    구축목적

    ■ 다양한 한국어 일반상식 문장 및 개념집합을 활용해 사람이 생성한 문장으로서 인공지능을  훈련하기 위한 데이터셋
  • 1) 전체 문장수 : 1,016,240

    2) 데이터 분포

     
    ❍ 생성문장 어절 수 분포 ❍ 문장당 단어 개수 분포
    문장 어절수 수량 개념집합 개수 수량 비율(%)
    합계 1,016,240 합계 1,016,240 100.00%
    1 1 12 51,947 5.11%
    4 106 13 95,850 9.43%
    5 9,555 14 136,570 13.44%
    6 106,180 15 190,601 18.76%
    7 308,054 16 261,440 25.73%
    8 373,723 17 279,832 27.54%
    9 177,640      
    10 36,433      
    11 4,151      
    12 361      
    13 35      
    14 1    
     
  • 1) 학습 모델 후보

    ● 본 임무와 직접적으로 관련된 두 개의 선행 연구 Lin et al. (2019)와 Seo et al. (2021)을 중점적으로 비교 분석함

     
    데이터 명  15-2 일반 상식 문장 생성 데이터
    학습 모델 후보  알고리즘  성능지표  선정 여부  선정 사유
    KoGPT2 Transformer의 디코더를 차용한 대표적인 자기 회귀 모델인 GPT2를 한국어로 사전학습한 모델. 앞선 n개의 토큰을 보고 다음 토큰을 예측하는 Causal language model ROUGE-2: 50.0, ROUGE-L: 50.0, Coverage: 70.0 이상 X Lin et al. (2019)에서 GPT2를 실험했고 이에 착안하여 Seo et al. (2021)에서 KoGPT2를 실험했음
    KoBART Transformer 네트워크에 Denoising Auto Encoder (DAE) 기법을 적용한 BART를 한국어로 사전학습한 모델 ROUGE-2: 40.0, ROUGE-L: 50.0, Coverage: 70.0 이상 X Lin et al. (2019)에서 BART를 실험했고 이에 착안하여 Seo et al. (2021)에서 KoBART를 실험했음
    mBART-50 BART를 한국어가 포함된 50개의 다국어로 학습한 모델 ROUGE-2: 50.0, ROUGE-L: 50.0, Coverage: 70.0 이상 Lin et al. (2019)에서 BART를 실험했고 이에 착안하여 Seo et al. (2021)에서 mBART를 실험했음
    KE-T5 학습과 추론을 모두 seq2seq 형식으로 일원화하여 다량의 데이터로 학습한 T5 모델을 한국어로 구현한 모델 ROUGE-2: 30.0, ROUGE-L: 50.0, Coverage: 70.0 이상 X Lin et al. (2019)에서 T5를 실험했으나 Seo et al. (2021)에서는 실험에 포함하지 않았음. 이에 자체적으로 실험을 진행함
    한국어와 영어가 약 7:3 비율로 섞인 30GB 코퍼스로 학습했으며, 24개의 레이어와 16개의 헤드, 770M개의 모델 파라미터로 구성
    현재 공개된 한국어 Seq2seq 모델 중 가장 큰 사이즈(770M)의 모델
    Ko-GPT-Trinity KoGPT의 모델 파라미터 수를 12억 개로 늘린 모델 ROUGE-2: 10.0, ROUGE-L: 20.0, Coverage: 65.0 이상 X Lin et al. (2019)에서 GPT2를 실험했으나 Seo et al. (2021)에서는 실험에 포함하지 않았음. 이에 자체적으로 실험을 진행함
    350억 개의 한국어 텍스트 토큰으로 72,000 스텝 동안 학습. 1.2B개의 모델 파라미터로 구성
    모델 구조는 KoGPT2와 동일함

     

    ● KoGPT2, KoBART, mBART-50은 Seo et al. (2021)에서 성능이 보고된 반면, KE-T5와 Ko-GPT-Trinity의 성능은 보고되지 않음. 이에 동일한 설정 하에 과제 준비 기간 동안 두 모델에 대해 예비 실험을 진행하였음
    ● 즉 Seo et al. (2021)에서 제안된 KommonGen 데이터를 해당 깃허브(https://github.com/ nlpai-lab/ KommonGen)에서 내려받고 해당 학습 데이터와 테스트 데이터를 이용해 실험을 진행함
    ● 이를 통해 보다 종합적으로 모델의 성능을 검증하고, 최종적으로 구현할 모델을 결정하고자 함
    ● 실험 결과

    항목 후보1 후보2 후보3 후보4 후보5
    모델 KoGPT2 KoBART mBART-50 KE-T5 Ko-GPT-Trinity
    근거 논문 보고 논문 보고 논문 보고 예비실험 예비실험
    파라미터수 125M 124M 610M 770M 1.2B
    품질 ROUGE-2 34.78 44.53 64.95 38.79 16.92
    지표 ROUGE-L 53.02 60.64 73.9 57.17 31.19
      Coverage 77.04 89.8 94.06 78.2 72.19

     

    ● 실험 결과 분석
    ▸KE-T5은 KoGPT보다 근소하게 우세함
    ▸Ko-GPT-Trinity은 다섯 개의 모델들 중 가장 성능이 낮음
    ▸ROUGE-2/L, Coverage 모두 mBART-50가 가장 높은 성능을 보임
    ▸따라서 학습모델 후보군 중 가장 높은 성능을 보인 mBART-50을 최종 과제 수행시 구현하기로 결정함

    2) 학습 모델 개발
    (개발 목표)
       - 입력된 개념 정보를 활용하여 자연스러운 상식 문장을 생성하는 모델을 구축
         예: (입력) 고양이 선반 올라가다 => (생성) 고양이가 선반에 올라가 있다

    (개발 내용)
        - mBART
    ● 학습 모델은 페이스북에서 개발한 mBART(엠바트) 모델을 사용했습니다. 
    ● 해당 모델은 한국어를 포함한 50여가지의 언어로 사전학습한 모델이며, 모델 사이즈가 다른 공개된 모델과 비교하여 더 커서, 한국어에서도 일반적으로 좋은 성능을 보여주고 있습니다.
    ● 해당 모델은 전형적인 sequence-to-sequence 모델로, 일정 조건(개념집합)을 인코더에서 입력 받아서 디코더에서 문장을 생성하는 구조입니다.

    은행,사이버,채널,늘리다,계획 화살표 mBART 전형적인 sequence-to-seqyence 모델 일정조건(개념집합)을 인코더에서 입력 받아서 디코더에서 문장을 생성하는 구조 화살표 은행은 사이버 채널을 계속 늘려갈 계획이다

  • 데이터 성능 점수

    측정값 (%)
    기준값 (%)

    데이터 성능 지표

    데이터 성능 지표
    번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수
    1 상식 문장 생성 성능 Text Generation Sequence-to-sequence 기반 모델 Coverage 0.7 단위없음 0.86 단위없음
    2 상식 문장 생성 성능 Text Generation Sequence-to-sequence 기반 모델 ROUGE-2 50 % 52.68 %
    3 상식 문장 생성 성능 Text Generation Sequence-to-sequence 기반 모델 ROUGE-L 50 % 64.7 %

    ※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.

    ※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)

  • *일반상식 문장 생성 데이터는 샘플데이터만 올라가 있으며, 추후 공개될 예정입니다.

     

    1) 데이터 포맷 : JSON

    2) 어노테이션 포맷

     
    No. 속성명 항목 설명 타입 필수 작성예시
    1 id 15-1 결과 ID string Y “6fae23cac514a1d2f35845be23e7ba72edc366fa181ab809e87a0a2af4214d41”
    2 refId 15-1 참조문의 ID string Y “142000”
    3 refSrc 15-1 참조문의 출처 string Y “stdict”
    4 refText 15-1 참고용 텍스트 string N “여기에 이름을 적다.”
    3 sentence 기본 문장  string Y “여기에 이름을 적다.”
    4 concepts 개념집합 array of Concept Y 컨셉셋의 후보
      04월 01일 stem 개념어 string Y “여기”
      04월 02일 postag 개념어 품사 string Y “NP”
    5 genSentences 생성문장 array of GeneratedSentence Y 새로이 생성한 문장의 배열
      05월 01일 sentence_id 생성문장 id string Y “64614”
      05월 02일 label-scenes 생성문장 string Y “사무실에 들어갈 때 여기에 이름을 적으면 됩니다.”
      05월 03일 words 생성문장 단어수 integer Y 13
      05월 04일 frame_text 생성문장 문형 string Y “N1에 들어갈 N2 N3에 N4를 적으면 되다.”
    6 genSentences 생성문장 array of GeneratedSentence Y 새로이 생성한 문장의 배열
      06월 01일 sentence_id 생성문장 id string Y “64615”
      06월 02일 label-scenes 생성문장 string Y “여기에 이름을 적고 입장하면 가능합니다.”
      06월 03일 words 생성문장 단어수 integer Y 12
      06월 04일 frame_text 생성문장 문형 string Y “N1에 N2를 적고 입장하면 가능하다.”

     

    ) 실제 예시
    [  {
        "id": "14916a57229c5a10ce22eadb7665988edc7bf83112b5ea31a937fbd5ba14b2ac",
        "refId": "21033",
        "refSrc": "stdict",
        "refText": "",
        "sentence": "현대 사회는 생명 가치를 경시하는 풍조가 있다.",
        "concepts": [
          {
            "stem": "있다",
            "postag": "VA"
          },
          {
            "stem": "현대",
            "postag": "NNG"
          },
          {
            "stem": "풍조",
            "postag": "NNG"
          },
          {
            "stem": "사회",
            "postag": "NNG"
          },
          {
            "stem": "생명",
            "postag": "NNG"
          },
          {
            "stem": "가치",
            "postag": "NNG"
          },
          {
            "stem": "경시",
            "postag": "NNG"
          }
        ],
        "genSentences": [
          {
            "sentence_id": 2658,
            "label-scenes": "현대 사회에 있는 풍조는 생명 가치를 경시하는 것이다.",
            "words": 16,
            "frame_text": "N1 N2에 있는 N3은 N4 N5를 경시하는 N6이다."
          },
          {
            "sentence_id": 2659,
            "label-scenes": "현대는 생명 가치를 경시하는 풍조가 있는 사회다.",
            "words": 15,
            "frame_text": "N1은 N2 N3를 경시하는 N4이 있는 N5다."
          }
        ]
      },
     

  • 데이터셋 구축 담당자

    수행기관(주관) : ㈜나라지식정보
    수행기관(주관)
    책임자명 전화번호 대표이메일 담당업무
    송영숙 02-3141-7644 klanguage1004@gmail.com 총괄PM
    수행기관(참여)
    수행기관(참여)
    기관명 담당업무
    ㈜메트릭스 가공/검수
    ㈜테스트웍스 저작도구
    ㈜오투오 문형개발
    ㈜튜닙 모델링
    데이터 관련 문의처
    데이터 관련 문의처
    담당자명 전화번호 이메일
    송영숙 02-3141-7644 klanguage1004@gmail.com
보건의료 데이터 개방 안내

보건의료 데이터는 온라인 및 오프라인 안심존을 통해 개방됩니다.

안심존이란 안심존 이용메뉴얼 안심존 이용신청
  • 인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
    * 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
    * 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석

    1. AI 허브 접속
      신청자
    2. 안심존
      사용신청
      신청자신청서류 제출*
    3. 심사구축기관
    4. 승인구축기관
    5. 데이터 분석 활용신청자
    6. 분석모델반출신청자
  • 1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
    2. 기관생명윤리위원회(IRB) 승인된 연구계획서
    3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
    4. 안심존 이용 신청서 [다운로드]
    5. 보안서약서 [다운로드]
    ※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다.

  • 신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의

데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.

API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 해제를 지원하는 프로그램(예: 반디집, 7-Zip)을 사용하시길 권장합니다.

※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.