-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2022-07-29 데이터 최초 개방 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2022-07-29 콘텐츠 최초 등록 소개
• 신경망 기반 기계 번역기 학습 데이터로 활용하기 위한 영한, 중한 말뭉치 • 식품 전문 분야 번역기의 성능 향상을 위한 학습용 데이터
구축목적
• 전문 용어의 이해도가 높고 학술적 의미를 효과적으로 전달할 수 있는 인공 신경망 기계 번역기 학습용 말뭉치 데이터 구축
-
메타데이터 구조표 데이터 영역 한국어 데이터 유형 텍스트 데이터 형식 txt 데이터 출처 학술지 라벨링 유형 번역(자연어) 라벨링 형식 JSON 데이터 활용 서비스 신경망 기계 번역기 데이터 구축년도/
데이터 구축량2021년/300만 문장 -
1. 데이터 구축 규모
1. 데이터 구축 규모 항목명 지표 규모 구축량 문장수 • 영-한 150만
• 중-한 150만주제 분포 비율 20개 세부 분야별 데이터 분포 확인 문장 길이 분포 수량 (어절 수) • 한국어: 평균 15어절 (최소 2어절~최대 30어절)
• 중국어: 평균 15글자수 (최소 2글자 ~ 최대 30글자)2. 데이터 분포 (영한)
2. 데이터 분포 (영한) 언어 대분야 세부 분야 세세 분야 데이터 구축 목표 수량 영한 위해식품정보
(40%)가공식품
(2.8%)가공식품 일반 30,000 과자/빙과류 30,000 주류/음료 30,000 즉석식품류 30,000 조미식품 30,000 농산물
(10.2%)농산물 일반 30,000 과일견과류 20,000 곡식류 15,000 채소버섯류 15,000 차/향신료 10,000 수/축산물
(9.7%)축산물 일반 40,000 사료 10,000 우유제품 10,000 수산물 일반 20,000 식품일반
(61.1%)식품 일반 20,000 식품 첨가물 25,000 유해물질 75,000 영양 50,000 건강식품류
(16.2%)건강식품 일반 20,000 기능성 식품 40,000 발효 미생물류 50,000 소계 600,000 글로벌
동향정보
(30%)가공식품
(3.6%)가공식품 일반 25,000 과자/빙과류 20,000 주류/음료 20,000 즉석식품류 15,000 조미식품 15,000 농산물
(16.7%)농산물 일반 10,000 과일견과류 16,000 곡식류 18,000 채소버섯류 30,000 차/향신료 10,000 수/축산물
(20.4%)축산물 일반 30,000 사료 5,000 우유제품 5,000 수산물 일반 20,000 식품일반
(37.6%)식품 일반 25,000 식품 첨가물 22,500 유해물질 22,500 영양 40,000 건강식품류
(21.7%)건강식품 일반 15,000 기능성 식품 15,000 발효 미생물류 71,000 소계 450,000 법제도
정보
(20%)가공식품
(20%)가공식품 일반 10,000 과자/빙과류 3,000 주류/음료 3,000 즉석식품류 3,000 조미식품 3,000 농산물
(1.1%)농산물 일반 3,000 과일견과류 3,000 곡식류 3,000 채소버섯류 3,000 차/향신료 3,000 수/축산물
(1%)축산물 일반 3,000 사료 3,000 우유제품 3,000 수산물 일반 3,000 식품일반
(76.4%)식품 일반 33,000 식품 첨가물 3,000 유해물질 3,000 영양 3,000 건강식품류
(1.5%)건강식품 일반 3,000 기능성 식품 3,000 발효 미생물류 3,000 소계 100,000 연구평가
정보
(10%)가공식품
(5.9%)가공식품 일반 15,000 과자/빙과류 15,000 주류/음료 15,000 즉석식품류 15,000 조미식품 15,000 농산물
(8.2%)농산물 일반 10,000 과일견과류 10,000 곡식류 10,000 채소버섯류 10,000 차/향신료 10,000 수/축산물
(19.6%)축산물 일반 25,000 사료 10,000 우유제품 20,000 수산물 일반 10,000 식품일반
(52.3%)식품 일반 35,000 식품 첨가물 10,000 유해물질 35,000 영양 30,000 건강식품류
(14%)건강식품 일반 10,000 기능성 식품 10,000 발효 미생물류 30,000 소계 350,000 합계 1,500,000 데이터 분포 (중한)
데이터 분포 (중한) 언어 대분야 세부 분야 세세 분야 데이터 구축 목표 수량 중한 위해식품정보
(40%)가공식품
(4.3%)가공식품 일반 30,000 과자/빙과류 24,000 주류/음료 30,000 즉석식품류 30,000 조미식품 24,000 농산물
(11.8%)농산물 일반 30,000 과일견과류 12,000 곡식류 12,000 채소버섯류 12,000 차/향신료 12,000 수/축산물
(20.9%)축산물 일반 36,000 사료 18,000 우유제품 18,000 수산물 일반 18,000 식품일반
(47.5%)식품 일반 18,000 식품 첨가물 36,000 유해물질 75,000 영양 78,000 건강식품류
(15.5%)건강식품 일반 12,000 기능성 식품 45,000 발효 미생물류 30,000 소계 600,000 글로벌
동향정보
(30%)가공식품
(18.4%)가공식품 일반 31,500 과자/빙과류 22,500 주류/음료 36,000 즉석식품류 22,500 조미식품 22,500 농산물
(31.2%)농산물 일반 18,000 과일견과류 18,000 곡식류 18,000 채소버섯류 31,500 차/향신료 13,500 수/축산물
(13.2%)축산물 일반 27,000 사료 9,000 우유제품 9,000 수산물 일반 18,000 식품일반
(29.6%)식품 일반 36,000 식품 첨가물 22,500 유해물질 22,500 영양 22,500 건강식품류
(7.6%)건강식품 일반 22,500 기능성 식품 13,500 발효 미생물류 13,500 소계 450,000 법제도
정보
(20%)가공식품
(10.3%)가공식품 일반 10,000 과자/빙과류 5,000 주류/음료 5,000 즉석식품류 5,000 조미식품 5,000 농산물
(44.3%)농산물 일반 4,000 과일견과류 4,000 곡식류 4,000 채소버섯류 4,000 차/향신료 4,000 수/축산물
(7.7%)축산물 일반 4,000 사료 4,000 우유제품 3,000 수산물 일반 3,000 식품일반
(33.3%)식품 일반 10,000 식품 첨가물 5,000 유해물질 5,000 영양 4,000 건강식품류
(4.4%)건강식품 일반 4,000 기능성 식품 4,000 발효 미생물류 4,000 소계 100,000 연구평가
정보
(10%)가공식품
(56%)가공식품 일반 35,000 과자/빙과류 17,500 주류/음료 28,000 즉석식품류 42,000 조미식품 17,500 농산물
(16.4%)농산물 일반 28,000 과일견과류 14,000 곡식류 14,000 채소버섯류 14,000 차/향신료 14,000 수/축산물
(13.3%)축산물 일반 14,000 사료 7,000 우유제품 10,500 수산물 일반 17,500 식품일반
(9.4%)식품 일반 14,000 식품 첨가물 10,500 유해물질 10,500 영양 10,500 건강식품류
(4.9%)건강식품 일반 10,500 기능성 식품 10,500 발효 미생물류 10,500 소계 350,000 합계 1,500,000 -
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드1. Attention 기반 Transformer 기계 번역기 모델
- Transformer 기계 번역기를 현재로 상용에서 사용하고 있는 기계 번역기 모델임
- Transformer의 경우 우수한 결과물을 만들기 위해서는 필수적으로 우수한 학습 데이터가 필요함
- 언어별 본 과제 분야에 특화된 번역기 모델을 학습하여 해당 분야의 수요 기관에서 직접적으로 사용이 가능함
2. 유효성 검증 모델의 학습 및 검증 조건
2. 유효성 검증 모델의 학습 및 검증 조건 유효성 검증 모델 학습 및 검증 조건 개발 언어 Python 3.7 프레임워크 PyTorch 1.8.1 학습 알고리즘 Transformer 학습 조건 – Number of epochs: 50
– Batch size: 64 / 128
– Learning rate: 0.003
– Dropout: 0.1파일 형식 학습 데이터셋: csv 평가 데이터셋: csv 전체 구축 데이터 대비 모델에 적용되는 비율 100% (1,500,000건) 모델 학습 과정별 데이터 분류 및 비율 정보 – Training Set: 80% (1,920,000건)
– Validation Set:10% (240,000건)
– Test Set: 10% (240,000건) -
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 기계번역 정확도(영-한) Machine Translation openNMT BLEU 0.7 점 0.7588 점 2 기계번역 정확도(중-한) Machine Translation openNMT BLEU 0.7 점 0.7144 점
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드1. 라벨링 데이터 포맷
1. 라벨링 데이터 포맷 구분 항목명 타입 필수여부 설명 1 data Object Y 데이터셋 정보 1.1 data.sn String N 시리얼 넘버 data.file_name String N 파일 이름 data.data_set String Y 데이터 분류 data.domain String Y 대분야 data.subdomain String N 하위 분야 data.source String Y 출처 data.[출발언어] String Y 개인정보 비식별화 처리된 원문 문장
(예: ko, en)data.[출발언어]_cleaned String N 띄어쓰기, 오탈자, 문장 구조를 보정한 원문 문장 (개인정보가 포함된 문장은 제외) data.[출발언어]_original String Y 1차적으로 정제된 원문 문장 data.mt String N 기계 번역문 data.[도착언어] String Y 번역문 (영문) data.source_language String Y 원문 언어 코드 data.target_language String Y 번역문 언어 코드 data.license String Y 원문의 라이선스, 명시적 라이선스 또는 상용 사용 여부 명시 data.word_count_[출발언어] Number Y 원문 어절수 data.word_count_[도착언어] Number Y 번역문 어절수 data.word_ratio Float Y 원문, 영어 어절 비율 data.included_unknown _words Boolean Y 전문용어 포함 여부 data.included_unknown_words Boolean Y 신조어, 약어, 은어 포함 여부 data.style String Y 문어체와 구어체 구분하여 원문의 문체 명시 1.2 data.context Object N 문맥을 파악할 수 있는 문장들의 정보 1.2.1 context.group_id String Y 동일한 문맥(그룹)의 식별 정보 context.group_index Number Y 동일한 문맥에서의 순차 정보 context.talker String N 구어체의 경우 화자 정보 1.3 data.ner Object N 문장 내 개체명 정보 1.3.1 ner.text String Y 원문 중 NER 태깅을 한 문장 ner.tags Array Y NER 태그 정보 1.3.1.1 tags.tag String Y NER 태그들의 상세 정보 tags.value String Y 태깅된 단어 tags.position Array Y 태깅된 단어의 원문 내의 위치 정보
[start_pos, end_pos]2. 라벨링 데이터 예시
-
데이터셋 구축 담당자
수행기관(주관) : ㈜ 트위그팜
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 최규동 1833-5926 ken.choi@twigfarm.net · 데이터 구축 수행기관(참여)
수행기관(참여) 기관명 담당업무 에퀴코리아 · 데이터 수집, 정제, 가공, 검수 한국외국어대학교 · 데이터 수집, 정제, 가공, 검수 중앙대학교 · 데이터 수집, 정제, 가공, 검수 푸르모디티 · 데이터 수집, 정제, 가공, 검수 악티보 · 사업 관리 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 최규동 1833-5926 ken.choi@twigfarm.net
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.