-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.2 2024-04-02 라벨링데이터 수정 1.1 2022-10-04 전체 데이터 개방 1.0 2022-07-29 데이터 최초 개방 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2023-12-11 AI 모델 소스코드 및 AI 모델 환경 설치가이드 등록 2023-12-01 데이터설명서, 구축업체정보 수정 2023-11-24 데이터설명서, 구축업체정보 수정 2023-06-02 구축업체정보 수정 2023-05-24 구축업체정보 수정 2022-07-29 콘텐츠 최초 등록 소개
다국어 음성 합성을 위한 같은 의미의 한국어-영어/ 한국어-중국어 AI 학습용 데이터 구축
구축목적
통역과 방송 분야의 번역 품질을 향상하기 위한 한-영 및 한-중 언어의 병렬 음성 발화 데이터 및 방송 번역용 다국어 음성 데이터셋
-
메타데이터 구조표 데이터 영역 한국어 데이터 유형 오디오 데이터 형식 pcm 데이터 출처 신규 제작 라벨링 유형 전사 라벨링 형식 JSON 데이터 활용 서비스 자동 통·번역기, 음성챗봇, AI 콜센터 등 데이터 구축년도/
데이터 구축량2021년/5,000시간 -
데이터 통계
- 데이터 구축 규모
데이터 종류 데이터 종류 규모 음성 및 전사데이터 5,207시간 - 데이터 분포
- 주제별 분포
분야 시간 비율 대항목 소항목 방송 다큐멘터리 505시간 9.70% 애니메이션 498시간 9.60% 영화드라마 1,484간 28.50% 소계 2,487간 47.80% 일상 여행(국내/해외) 285시간 5.50% 직업/교육 132시간 2.50% 음식 276시간 5.30% 엔터테인먼트 266시간 5.10% 미용/뷰티 134시간 2.60% 인간관계 134시간 2.60% 게임 263시간 5.10% 과학/기술 136시간 2.60% 산업/경제 135시간 2.60% 스포츠/건강 264시간 5.10% 자연/동식물 135시간 2.60% 국방/군사 140시간 2.70% 의료/의학 141시간 2.70% 자동차 139시간 2.70% 패션 139시간 2.70% 소계 2,719시간 52.20% 총 5,207시간 100% 
- 주제별 분포
- 데이터 구축 규모
-
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드모델 학습
- 데이터6에서는 다국어 언어 쌍에 대한 음성 번역(Speech Translation) 문제를 해결하기 위하여 Transformer 기반의 음성 번역 모델을 개발하였음. 이러한 모델은 전 세계적으로도 아직 데이터셋이 매우 부족하기도 하고, 모델의 연구도 시작단계이기 때문에 주로 Transformer 모델을 기반으로 한 모델들이 제안되고 있음.
- 모델은 하나의 end-to-end 모델을 이용하여 학습하는 방식과 ASR 모델과 NMT 모델을 각각 학습하는 방식으로 구분됨.
- ASR 모델과 NMT 모델을 각각 학습하는 Cascade 모델은 아래와 같은 형태로 학습/추론이 이루어짐.
[Cascade 음성 번역 모델]- 이는 한국어 음성-텍스트를 이용하여 ASR 모델을 학습하고, 한국어-영어/중국어 텍스트를 이용하여 NMT 모델을 학습하여 추론 시 입력된 한국어 음성 신호를 ASR 모델을 이용하여 한국어 텍스트로 변환하고 이를 NMT 모델을 이용하여 다국어 텍스트로 변환하는 방법임. 이 방법은 데이터5의 데이터 등을 활용하여 좀 더 높은 성능의 ASR 모델을 생성할 수 있기 때문에 End-to-end 모델에 비하여 좀 더 고성능의 모델을 학습하기에 유리함.
-
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 음성인식 Speech Recognition Transformer BLEU 0.1 점 0.5095 점
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드데이터 포맷
- 대표도면
- JSON 형식
데이터 구성
데이터 포맷 Key Description Type Child Type version 데이터셋 버전 string subject 과제명 string data_name 데이터명 string date 녹취된 날짜 string typeInfo 음원 데이터 상세 정보 object category 음원 카테고리 정보 string subcategory 음원 서브 카테고리 string place 음원 녹취 장소 string speakers 화자 목록 array speaker_id 화자 아이디 string gender 성별 string area 지역 string age 연령 string language 녹음 언어 string language_pair 녹음 언어쌍 string topic 음원 대본 정보 string dialogs 전사 데이터 목록 array speaker_id 화자 아이디 string text 전사된 텍스트 string startTime 전사된 텍스트의 음원 재생 시작 위치 string endTime 전사된 텍스트의 음원 재생 끝 위치 string tags 전사된 텍스트 문장과 관련된 태그 리스트 string deleted 비식별화 구간 표시 boolean 어노테이션 포맷
No 항목 타입 필수
여부한글명 영문명 0 데이터셋 dataSet object Y 1 데이터셋 버전 version string Y 2 과제명 subject string Y 3 데이터명 data_name string Y 4 녹취된 날짜 date string Y 5 음원 데이터 상세 정보 typeInfo object 5.1 음원 카테고리 정보 category string Y 5.2 음원 서브 카테고리 subcategory string Y 5.3 음원 녹취 장소 place string Y 5.4 화자 목록 speakers array Y 5.4.1 화자 아이디 speaker_id string 5.4.2 성별 gender string Y 5.4.3 지역 area string Y 5.4.4 연령 age string Y 5.5 녹음 언어 language string Y 5.6 녹음 언어쌍 language_pair string Y 5.7 음원 대본 정보 topic string Y 6 전사 데이터 목록 dialogs array 6.1 화자 아이디 speaker_id string N 6.2 전사된 텍스트 text string N 6.3 전사된 텍스트의 음원 재생 시작 위치 startTime string Y 6.4 전사된 텍스트의 음원 재생 끝 위치 endTime string Y 6.5 전사된 텍스트 문장과 관련된 태그 리스트 tags string N 6.6 비식별화 구간 표시 deleted boolean N 실제 예시
- 대표도면
-
데이터셋 구축 담당자
수행기관(주관) : 한국외국어대학교
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 한승희 02-2173-2360 hfs1730020@hufs.ac.kr · 데이터 설계·수집·정제·가공 수행기관(참여)
수행기관(참여) 기관명 담당업무 주식회사 아큐플라이에이아이 · 데이터 수집 스켈터랩스 · AI 모델 학습 한컴인텔리전스 · 저작도구 개발 및 운영 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 한승희 02-2173-2360 hfs1730020@hufs.ac.kr
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.