-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.2 2023-02-15 라벨링데이터 수정 1.1 2022-10-04 전체 데이터 개방 1.0 2022-07-29 데이터 최초 개방 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2023-12-11 AI 모델 소스코드 및 AI 모델 환경 설치가이드 등록 2023-12-01 데이터설명서, 구축업체정보 수정 2023-11-24 데이터설명서, 구축업체정보 수정 2023-06-02 구축업체정보 수정 2023-05-24 구축업체정보 수정 2022-07-29 콘텐츠 최초 등록 소개
대화 중 자연스럽게 구사되는 영문 단어(외래어 및 외국어) 및 관용적 표현이 포함된 문장과 스크립트를 통해 AI 학습용 데이터 구축
구축목적
다양한 주제에서 영어 표현이 포함된 한국어 대화를 구축하여 음성 인식 성능을 향상할 수 있도록 인공지능을 훈련하기 위한 데이터셋
-
메타데이터 구조표 데이터 영역 한국어 데이터 유형 오디오 데이터 형식 pcm 데이터 출처 신규 제작 라벨링 유형 전사 라벨링 형식 JSON 데이터 활용 서비스 워드넷, 챗봇 서비스 등 데이터 구축년도/
데이터 구축량2021년/14,000시간 -
데이터 통계
- 데이터 구축 규모
데이터 통계 데이터 종류 규모 음성 및 전사데이터 14,013시간 - 데이터 분포
- 주제별 분포
분야 시간 비율 대항목 소항목 일상 여행(국내/해외) 1,399시간 10.00% 직업/교육 710시간 5.10% 음식 1,397시간 10.00% 엔터테인먼트 1,483시간 10.60% 미용/뷰티 720시간 5.10% 인간관계 772시간 5.50% 소계 6481시간 46.20% 전문 게임 1,409시간 10.10% 과학/기술 682시간 4.90% 산업/경제 695시간 5.00% 스포츠/건강 1,563시간 11.20% 자연/동식물 574시간 4.10% 국방/군사 665시간 4.80% 의료/의학 711시간 5.10% 자동차 519시간 3.70% 패션 714시간 5.10% 소계 7,532시간 53.80% 총 14,013시간 100% 
- 주제별 분포
- 데이터 구축 규모
-
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드모델 학습
- 데이터 5에서는 한영 혼합 음성의 음성인식 모델을 개발함.
- 이를 위하여 Transformer Encoder/Decoder 기반의 음성인식 모델을 개발하여 모델을 학습함.
[Transformer 모델 구조]
- Encoder 입력으로는 전처리를 통하여 변환된 Mel Filterbank 데이터가 입력되며, Decoder의 출력은 본 과제에서 학습된 3,000개 vocab의 Sentence Piece Model 임베딩이 사용됨.
-
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 음성인식 Speech Recognition Transformer CER 10 % 9.87 % 2 음성인식 Speech Recognition Transformer WER 20 % 11.01 %
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드데이터 포맷
- 대표 도면
- JSON 형식
데이터 구성
데이터 포맷 Key Description Type Child Type version 데이터셋 버전 string subject 과제명 string data_name 데이터명 string date 녹취된 날짜 string typeInfo 음원 데이터 상세 정보 object category 음원 카테고리 정보 string subcategory 음원 서브 카테고리 string place 음원 녹취 장소 string speakers 화자 목록 array gender 성별 string area 지역 string age 연령 string ability 영어 실력 string accent 영어 악센트 string speaker_id 화자 아이디 string dialogs 전사 데이터 목록 array speaker_id 화자 아이디 string text 전사된 텍스트 string startTime 전사된 텍스트의 음원 재생 시작 위치 string endTime 전사된 텍스트의 음원 재생 끝 위치 string expression 라벨링 목록 array form 표현형 string baseForm 원형 string originalForm 영문표기형 string sign 분석표지 string deleted 비식별화 구간 표시 boolean 어노테이션 포맷
No 항목 타입 필수
여부한글명 영문명 0 데이터셋 dataSet object 1 데이터셋 버전 version string Y 2 과제명 subject string Y 3 데이터명 data_name string Y 4 녹취된 날짜 date string Y 5 음원 데이터 상세 정보 typeInfo object 5.1 음원 카테고리 정보 category string Y 5.2 음원 서브 카테고리 subcategory string Y 5.3 음원 녹취 장소 place string Y 5.4 화자 목록 speakers array 5.4.1 성별 gender string Y 5.4.2 지역 area string Y 5.4.3 연령 age string Y 5.4.4 영어 실력 ability string Y 5.4.5 영어 악센트 accent string Y 5.4.6 화자 아이디 speaker_id string Y 6 전사 데이터 목록 dialogs array 6.1 화자 아이디 speaker_id string N 6.2 전사된 텍스트 text string N 6.3 전사된 텍스트의 음원 재생 시작 위치 startTime string Y 6.4 전사된 텍스트의 음원 재생 끝 위치 endTime string Y 6.5 라벨링 목록 expression array N 6.5.1 표현형 form string Y 6.5.2 원형 baseForm string Y 6.5.3 영문표기형 originalForm string Y 6.5.4 분석표지 sign string Y 6.6 비식별화 구간 표시 deleted boolean N 실제 예시
- 대표 도면
-
데이터셋 구축 담당자
수행기관(주관) : 한국외국어대학교
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 한승희 02-2173-2360 hfs1730020@hufs.ac.kr · 데이터 설계·수집·정제·가공 수행기관(참여)
수행기관(참여) 기관명 담당업무 (주) 스피링크 · 데이터 정제·가공 스켈터랩스 · AI 모델 학습 한컴인텔리전스 · 저작도구 개발 및 운영 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 한승희 02-2173-2360 hfs1730020@hufs.ac.kr
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.