-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2022-07-29 데이터 최초 개방 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2024-01-22 데이터 통계 내용 수정 2024-01-12 담당자 변경 2022-07-29 콘텐츠 최초 등록 소개
범용성 높은 한국어-다국어 간 구어체 번역 말뭉치로써, 데이터 경쟁 시대에서 정부 주도의 인공지능 학습용 데이터로 활용 가능한 데이터로 제공
구축목적
(1) 범용성 높은 언어권들에 대한 인공지능 학습용 말뭉치 데이터 구축 및 공개 (2) 양질의 인공지능 학습용 데이터 구축/공개를 통한 일자리 창출 및 기술 향상에 기여
-
메타데이터 구조표 데이터 영역 한국어 데이터 유형 텍스트 데이터 형식 txt, xlsx 데이터 출처 자체 구축(컨소시엄사) 라벨링 유형 번역(자연어) 라벨링 형식 JSON 데이터 활용 서비스 자동번역, 챗봇 서비스/솔루션 데이터 구축년도/
데이터 구축량2021년/8,600,000 -
데이터 구축 규모 및 통계
대분류 중분류 소분류 한-스 스-한 한-독 독-한 한-프 프-한 일상생활 여행 공항, 기내 6.00% 10.30% 6.00% 5.60% 6.00% 6.90% 관광 6.00% 8.20% 6.00% 6.00% 6.00% 7.40% 쇼핑 6.00% 11.40% 6.00% 10.40% 6.00% 14.80% 숙소 6.00% 14.40% 6.00% 14.10% 6.00% 11.90% 음식점 6.00% 5.00% 6.00% 8.10% 6.00% 5.80% 스포츠 관람 15.00% 0.20% 15.00% 0.20% 15.00% 0.20% 운동 15.00% 2.70% 15.00% 2.90% 15.00% 2.50% 일상 일반 20.00% 47.70% 20.00% 52.30% 20.00% 50.40% 영화 및 여가 20.00% 0.10% 20.00% 0.40% 20.00% 0.10% 일상 소계 100.00% 100.00% 100.00% 100.00% 100.00% 100.00% 해외영업 IT 모바일 3.00% 12.20% 3.00% 9.50% 3.00% 7.50% 소프트웨어 3.00% 18.60% 3.00% 13.20% 3.00% 15.70% 하드웨어 3.00% 9.40% 3.00% 10.00% 3.00% 12.00% 기타 11.00% 12.60% 11.00% 12.00% 11.00% 9.60% 금융 금융 5.00% 2.20% 5.00% 2.10% 5.00% 2.90% 기타 10.00% 1.60% 10.00% 2.10% 10.00% 2.60% 미디어 컨텐츠 영상 3.00% 4.00% 3.00% 4.50% 3.00% 5.40% 음악 3.00% 0.50% 3.00% 0.80% 3.00% 0.60% 기타 14.00% 2.90% 14.00% 4.00% 14.00% 3.60% 제조 기계 2.00% 2.10% 2.00% 3.40% 2.00% 2.10% 바이오, 화학 2.00% 2.60% 2.00% 2.50% 2.00% 2.90% 자동차 2.00% 2.00% 2.00% 2.40% 2.00% 3.00% 조선 2.00% 0.10% 2.00% 0.10% 2.00% 0.10% 철강 2.00% 0.60% 2.00% 0.70% 2.00% 0.90% 기타 10.00% 6.70% 10.00% 8.40% 10.00% 8.70% 비즈니스 일반 무역 3.00% 0.90% 3.00% 1.20% 3.00% 1.10% 물류, 유통 3.00% 7.00% 3.00% 5.10% 3.00% 11.70% 기타 19.00% 14.00% 19.00% 18.00% 19.00% 9.60% 해외영업 소계 100.00% 100.00% 100.00% 100.00% 100.00% 100.00% -
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드- 강화 모델 학습은 모두 Model Studio Advanced에서 학습되었으며, 예시는 아래와 같음
- 모델 별 평가지표(BLEU스코어)와 현재 모델 성능 및 데이터 분포 비율 실시간 확인 가능
- 학습 알고리즘 및 파라미터, 사용 프레임워크
구분 구분 설명 Algorithm (1) Transformer: self-attention, encode-decoder attention등을 기반으로 한 아키텍쳐
[ref] Attention is all you need: https://arxiv.org/pdf/1706.03762.pdf
(2) Beam search in decodingParameter (1) data augmentation
a) Final-Punctuation-Remove: prob 0.05
b) Upper case: prob 0.01
c) placeholder: ph_unk: prob: 0.1, ph_ud: prob: 0.1, ph_string: prob: 0.1, ph_foreign: prob: 0.1
(2) preprocess
a) maximum_features_length: 200
b) learning rate: default 1.0 (auto adjustment, min: 0.0001)
c) regularization: L2 (scale: 1e-4)
d) decay type: NoamDecay
e) optimizer: Adam
f) dropout: 0.3 (decoding: 0.1)
(3) train
a) batch size: auto adjustment
b) moving_average_decay: 0.9999
c) sample_buffer_size: 5000프레임 워크 OpenNMT-tf (python 3.6.0) - 모델평가 결과
- 강화 모델 학습은 모두 Model Studio Advanced에서 학습되었으며, 예시는 아래와 같음
-
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 기계번역 정확도 (일상생활, 독>한) Machine Translation Transformer BLEU 0.46 점 0.5396 점 2 기계번역 정확도 (일상생활, 한>독) Machine Translation Transformer BLEU 0.42 점 0.4789 점 3 기계번역 정확도 (일상생활, 프>한) Machine Translation Transformer BLEU 0.45 점 0.5376 점 4 기계번역 정확도 (일상생활, 한>프) Machine Translation Transformer BLEU 0.43 점 0.4901 점 5 기계번역 정확도 (일상생활, 스>한) Machine Translation Transformer BLEU 0.45 점 0.5322 점 6 기계번역 정확도 (일상생활, 한>스) Machine Translation Transformer BLEU 0.44 점 0.5047 점 7 기계번역 정확도 (해외영업, 독>한) Machine Translation Transformer BLEU 0.51 점 0.5904 점 8 기계번역 정확도 (해외영업, 한>독) Machine Translation Transformer BLEU 0.47 점 0.5453 점 9 기계번역 정확도 (해외영업, 프>한) Machine Translation Transformer BLEU 0.5 점 0.6297 점 10 기계번역 정확도 (해외영업, 한>프) Machine Translation Transformer BLEU 0.48 점 0.5229 점 11 기계번역 정확도 (해외영업, 스>한) Machine Translation Transformer BLEU 0.5 점 0.530799999999999 점 12 기계번역 정확도 (해외영업, 한>스) Machine Translation Transformer BLEU 0.49 점 0.5613 점
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드1. 데이터별 포맷
1. 데이터별 포맷 데이터 유형 정의 포맷 원시 데이터 (데이터27) 중국어, 일본어, 한국어 구어체 데이터 txt (데이터28) 독일어, 프랑스어, 스페인어 및 한국어 구어체 데이터 원천 데이터 원시 데이터를 일상생활, 해외영업, 채팅 등으로 분류 xlsx 번역 데이터 원천 데이터에 대응하는 번역 데이터가 포함된 형태 JSON 2. 데이터 어노테이션 포맷
순번 항목명 항목 설명 형식/단위 데이터 허용범위/규칙 필수 여부 1 대분류 분야 문자 일상생활, 해외영업, 채팅 필수 2 중분류 분야의 세부 분류 문자 일상생활: 여행, 스포츠, 일상
해외영업: IT, 금융, 미디어컨텐츠, 제조, 기타
채팅: 문의, 답변필수 3 소분류 분야에 따른 2차 분류 문자 일상생활: 공항/기내. 관광, 쇼핑, 숙소, 음식점 등
해외영업: 고객선정, 사전영업, 제안, 계약, 후속조치
채팅: 스포츠, 영화, 음식, 음악 호텔 등선택 4 ID 고유 ID 숫자 숫자 이외의 값을 가질 수 없음 필수 5 S-Code 원문 언어 코드 문자 ISO 639-1 언어 및 ISO 3166-1 지역 코드 기준이 따름 필수 6 T-Code 번역문 언어 코드 문자 ISO 639-1 언어 및 ISO 3166-1 지역 코드 기준이 따름 필수 7 S-Length 원문 문자 수 숫자 숫자 이외의 값을 가질 수 없음 필수 8 T-Length 번역문 문자 수 숫자 숫자 이외의 값을 가질 수 없음 필수 9 Ratio 원문:번역문 문자 수 비율 숫자 숫자 이외의 값을 가질 수 없음 필수 10 특수표현 원문내 신조어, 약어 등 포함 여부 문자 신조어, 약어, 관용표현 등으로 구분하고 해당 없을 시 X로 표기 필수 11 화자 발화자 문자 한국어 또는 알파벳 이외의 값을 가질 수 없음 선택 -
데이터셋 구축 담당자
수행기관(주관) : 솔트룩스이노베이션
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 차윤석 02-2193-1734 yoonseok.cha@saltlux.com · 수행사업 내 데이터 구축 · 관리 총괄 수행기관(참여)
수행기관(참여) 기관명 담당업무 ㈜다이얼로그 디자인에이전시 · 데이터 구축(번역) ㈜디엠티랩스 · 데이터 구축(번역) ㈜시스트란 · 데이터 구축(번역) ㈜에버트란 · 데이터 구축(번역) ㈜플리토 · 데이터 구축(번역) 한샘글로벌(주) · 데이터 구축(번역) 한국외국어대학교 연구산학협력단 · 데이터 구축(번역) 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 차윤석(솔트룩스이노베이션) 02-2193-1734 yoonseok.cha@saltlux.com
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.