콘텐츠로 건너뛰기 메뉴로 건너뛰기 푸터로 건너뛰기
데이터를 불러오고 있습니다
데이터를 저장하고 있습니다
#자연어

발화유형(문어, 구어, 채팅)별 기계번역 병렬 말뭉치

발화유형(문어,구어,채팅)별 기계번역 병렬 말뭉치 아이콘 이미지
  • 분야한국어
  • 유형 텍스트
구축년도 : 2022 갱신년월 : 2023-11 조회수 : 7,183 다운로드 : 969 용량 :
샘플 데이터 ?

샘플데이터는 데이터의 이해를 돕기 위해 별도로 가공하여 제공하는 정보로써 원본 데이터와 차이가 있을 수 있으며,
데이터에 따라서 민감한 정보는 일부 마스킹(*) 처리가 되어 있을 수 있습니다.

※ 내국인만 데이터 신청이 가능합니다.

  • 데이터 변경이력

    데이터 변경이력
    버전 일자 변경내용 비고
    1.1 2023-11-03 데이터 최종 개방
    1.0 2023-05-26 데이터 개방(Beta Version)

    데이터 히스토리

    데이터 히스토리
    일자 변경내용 비고
    2024-06-13 데이터설명서, 담당자 정보 수정
    2024-01-12 산출물 전체 공개
    2023-12-01 구축업체정보 수정
    2023-11-24 구축업체정보 수정
    2023-06-02 구축업체정보 수정

    소개

    -  한국어 계열 기계번역의 언어별 성능, 어투, 도메인 등, 다양한 요소를 평가할 수 있도록 벤치마크 데이터셋 구축

    구축목적

    - 자연어 이해 및 자연어 생성에 대한 연구 및 개발한 언어모델 평가 등에 활용
    - 다양한 산업에서 민원·응대 등에 활용되는 챗봇, AI 비서와 같은 언어모델 평가 등에 활용
  • 데이터 통계  

     

    데이터 구축 규모

    데이터 구축 규모
    데이터 종류 규모
    텍스트 데이터 90,003건

     

    데이터 분포


    ○ 언어쌍별 분포

    데이터 분포○ 언어쌍별 분포
    언어쌍 비율
    en-ko 16.67%
    jp-ko 16.67%
    zh-ko 16.67%
    ko-en 16.67%
    ko-jp 16.67%
    ko-zh 16.67%
    100%

     

    언어쌍별 분포 차트

     

    ○ 발화유형별 분포

    데이터 분포○ 발화유형별 분포
    발화유형 비율
    CH 33.33%
    SP 33.33%
    WR 33.33%
    100%

     

    발화유형별 분포 차트

     
     ○ 주제별 분포
    데이터 분포○ 주제별 분포
    주제 비율
    CA 40.01%
    ES 19.98%
    SH 19.95%
    ST 20.07%
    100%

     

     ○ 주제별 분포 차트

  • 저작도구 설명서 및 저작도구 다운로드

    저작도구 설명서 다운로드 저작도구 다운로드
  • AI 모델 상세 설명서 다운로드

    AI 모델 상세 설명서 다운로드 AI 모델 다운로드

    모델 학습

    ○ 한중일영 번역 모델

    AI-hub 데이터를 이용하여 Transformer 모델을 학습한 모델. 한중일영에 대해서 기본적인 번역 과업을 수행할 수 있음.예시) [한->영] 
      입력: “구글로 빨리 찾아봤어요.“
      출력: “Well, I had a quick research via Google.”

     

  • 데이터 성능 점수

    측정값 (%)
    기준값 (%)

    데이터 성능 지표

    데이터 성능 지표
    번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수
    1 번역 정확도 (한-영, 1 fold) Machine Translation Fairseq BLEU 0.005 0.4261
    2 번역 정확도 (한-영, 2 fold) Machine Translation Fairseq BLEU 0.005 0.4277
    3 번역 정확도 (한-영, 3 fold) Machine Translation Fairseq BLEU 0.005 0.4269
    4 번역 정확도 (한-중, 1 fold) Machine Translation Fairseq BLEU 0.005 0.6583
    5 번역 정확도 (한-중, 2 fold) Machine Translation Fairseq BLEU 0.005 0.6602
    6 번역 정확도 (한-중, 3 fold) Machine Translation Fairseq BLEU 0.005 0.663
    7 번역 정확도 (한-일, 1 fold) Machine Translation Fairseq BLEU 0.005 0.5694
    8 번역 정확도 (한-일, 2 fold) Machine Translation Fairseq BLEU 0.005 0.5712
    9 번역 정확도 (한-일, 3 fold) Machine Translation Fairseq BLEU 0.005 0.5688

    ※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.

    ※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)

  • 설명서 및 활용가이드 다운로드

    데이터 설명서 다운로드 구축활용가이드 다운로드

    데이터 포맷  

    대표도면 및 JSON 형식

     

    {  "id": "100013-1244-1-1",
      "fileName": "en-ko_CH_CA_en_ko_100013-1244-1-1",
      "dataSet": "기계번역 병렬 말뭉치 데이터",
      "domain": "CA",
      "style": "CH",
      "isDialect": "Y",
      "sourceText": "Looking forward to getting her palette.Love her stuff!",
      "targetText": "그녀의 아이새도우 완전 기대하고 있어. 그녀의 물건들 사랑해!",
      "sourceLanguage": "en",
      "targetLanguage": "ko"
    }

     

    데이터 구성

    데이터 구성
    데이터 유형 구분 설명
    원천데이터 발화유형 채팅체(CH), 구어체(SP), 문어체(WR)
    라벨링데이터 번역문 원문에 대한 언어쌍별 번역문

     

    어노테이션 포맷

    어노테이션 포맷
    No 항목 타입 필수여부
      한글명 영문명    
    1 데이터 아이디 id String Y
    2 파일 이름 fileName String Y
    3 데이터셋 dataSet String Y
    4 도메인 domain String Y
    5 어체 style String Y
    6 중의적 표현 여부 isDialect String Y
    7 원 문장 sourceText String Y
    8 인간 번역문장 targetText String Y
    9 소스 언어 sourceLanguage String Y
    10 타겟 언어 targetLanguage String Y

     

    실제 예시

     

    {  "id": "100013-1244-1-1",
      "fileName": "en-ko_CH_CA_en_ko_100013-1244-1-1",
      "dataSet": "기계번역 병렬 말뭉치 데이터",
      "domain": "CA",
      "style": "CH",
      "isDialect": "Y",
      "sourceText": "Looking forward to getting her palette.Love her stuff!",
      "targetText": "그녀의 아이새도우 완전 기대하고 있어. 그녀의 물건들 사랑해!",
      "sourceLanguage": "en",
      "targetLanguage": "ko"
    }
     

  • 데이터셋 구축 담당자

    수행기관(주관) : 한국외국어대학교
    수행기관(주관)
    책임자명 전화번호 대표이메일 담당업무
    신선호 02-2173-2493 root_zero@hufs.ac.kr 데이터 설계 및 원천데이터 가공, 라벨링데이터 검수
    수행기관(참여)
    수행기관(참여)
    기관명 담당업무
    엠브레인퍼블릭 원시데이터 수집 및 정제
    카카오엔터프라이즈 AI 학습 모델링
    ㈜오피니언라이브 저작도구 개발 및 운영, 품질관리
    데이터 관련 문의처
    데이터 관련 문의처
    담당자명 전화번호 이메일
    신선호 02-2173-2493 root_zero@hufs.ac.kr
보건의료 데이터 개방 안내

보건의료 데이터는 온라인 및 오프라인 안심존을 통해 개방됩니다.

안심존이란 안심존 이용메뉴얼 안심존 이용신청
  • 인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
    * 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
    * 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석

    1. AI 허브 접속
      신청자
    2. 안심존
      사용신청
      신청자신청서류 제출*
    3. 심사구축기관
    4. 승인구축기관
    5. 데이터 분석 활용신청자
    6. 분석모델반출신청자
  • 1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
    2. 기관생명윤리위원회(IRB) 승인된 연구계획서
    3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
    4. 안심존 이용 신청서 [다운로드]
    5. 보안서약서 [다운로드]
    ※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다.

  • 신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의

데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.

API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.

리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.

※ 파일 병합 리눅스 명령어

find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"

- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.

- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.

※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.