콘텐츠로 건너뛰기 메뉴로 건너뛰기 푸터로 건너뛰기
데이터를 불러오고 있습니다
데이터를 저장하고 있습니다
#자연어 #음성

NEW 어린이 음성 맥락 인식률 향상을 위한 방송 음성 및 자연어 처리 학습용 데이터

어린이 음성 맥락 인식률 향상을 위한 방송 음성 및 자연어 처리 학습용 데이터 아이콘 이미지
  • 분야한국어
  • 유형 오디오
구축년도 : 2022 갱신년월 : 2024-01 조회수 : 3,777 다운로드 : 112 용량 :
샘플 데이터 ?

샘플데이터는 데이터의 이해를 돕기 위해 별도로 가공하여 제공하는 정보로써 원본 데이터와 차이가 있을 수 있으며,
데이터에 따라서 민감한 정보는 일부 마스킹(*) 처리가 되어 있을 수 있습니다.

※ 내국인만 데이터 신청이 가능합니다.

  • 데이터 변경이력

    데이터 변경이력
    버전 일자 변경내용 비고
    1.1 2024-01-05 데이터 최종 개방
    1.0 2023-07-31 데이터 개방(Beta Version)

    데이터 히스토리

    데이터 히스토리
    일자 변경내용 비고
    2024-02-27 산출물 전체 공개

    소개

    어린이 교육용 방송 영상(EBS, KBS)으로부터 수집한 어린이 교육 방송 영상을 활용하여, 어린이 음성/맥락 인식률 향상을 위한 방송 음성 및 자연어 처리 학승용 데이터셋을 구축

    구축목적

    현재까지 음성인식 학습용 데이터와 STT 모델은 성인 음성 위주이며, 공개된 어린이 음성의 경우 단편적인 내용을 다루는 짧은 문장 위주로 구성된 한계가 존재하므로, 최근 SOTA 모델에 부합하도록 풍부한 내용의 긴 문장과 맥락인식 정보를 포함하는 어린이 음성 데이터 구축 필요
  • 1. 데이터 구축 규모

    방송사 구분 카테고리 구분 파일 포맷 구분 수량 및 시간
    갯수 시간(h)
    EBS 미취학 아동 발달 교육 WAV, JSON 4,665 265.37
    어린이 교육 WAV, JSON 4,856 202.29
    어린이 드라마 WAV, JSON 3,445 131.54
    어린이 예능 WAV, JSON 7,709 302.31
    KBS 어린이 드라마 WAV, JSON 897 33.1
    어린이 예능 WAV, JSON 1,574 67.09
    총 수량 23,146 1,001.70

     

    2. 데이터 분포

    항목명 구분 비율(%) 설명
    카테고리 어린이 예능 36.9 카테고리 분포 차트
    미취학 아동 발달 교육 26.5
    어린이 교육 20.2
    어린이 드라마 16.5
    서브 카테고리 고전물 0.78 서브 카테고리 분포 차트
    현대물 15.73
    판타지 6.12
    교육 46.54
    버라이어티 19.51
    토크 11.31
    대화 평판 긍정 41.27 대화 평판 분포 차트
    부정 6.14
    대립 14.55
    감정 없음 24.46
    호기심 14.55
    대화 주체 어린이<->어린이 3.74 대화 주체 분포 차트
    어린이<->성인 96.26
    대화 장소 세트장 49.06 대화 장소 분포 차트
    해설녹음(더빙) 13.99
    실외 13.86
    13.29
    학교/학원 3.83
    상점 1.46
    식당/카페 1.09
    체육시설 0.96
    유치원 0.94
    회사 0.61
    교통수단 0.49
    기타 0.23
    병원 0.17
    어절 수 분포     어절 개수 분포 차트
     
     
     
     
     
     
     
     
     
    문장 수 분포     문장 개수 분포 차트
     
     
     
     
     
     
     
     
     
    발화자 연령대 청소년 및 성인(14 이상) 65.38 발화자 연령대 분포 싱크시간 기준 차트
    초등학생(8~13) 22.01
    미취학(5~7) 11.7
    발화자 성별 남자 53.25 발화자 성별 분포 차트
    여자 40.63
    해당없음 6.13
    대화 주제 교육 31.3 대화 주제 분포 개수 차트
    일상 25.2
    동화 11.8
    사물 11.8
    음식 7.3
    자연 5.3
    기타 2.3
    건강 2.2
    경제 1.9
    예술 0.5
    인물위인 0.05
  • 저작도구 설명서 및 저작도구 다운로드

    저작도구 설명서 다운로드 저작도구 다운로드
  • AI 모델 상세 설명서 다운로드

    AI 모델 상세 설명서 다운로드 AI 모델 다운로드

    1. 모델학습
      가)맥락 인식 모델(KoBERT) - 카테고리, 주제 키워드 예측
    ● 한국어 기반 BERT 모델에 분류 예측을 위한 Fully Connected Layer를 추가한 모델을 바탕으로 카테고리 및 대화 주제 키워드 예측 모델을 생성

    KoBERT 모델 개발 프로세스

    ● 형태소 분석 및 Tokenizer를 통해서 전처리 수행을
    ● KoBERT 학습 및 Fine-Tuning을 통해 학습을 진행
    ● 카테고리 및 키워드 예측 성능 확인 후 모델 적용


      나)음성인식 모델(HuBERT)
    ● 음성인식에 대한 학습 모델 후보군 중 다른 단어기반 모델에 비해 사용자의 음성에 대한 민감한 발음-음소 예측이 가능한 HuBERT 모델을 기반으로 학습 모델 생성

    HuBERT 모델 개발 프로세스

    ● Raw 데이터에서 특수 기호 및 ETRI 전사규칙 기호 제거 후 Vocabulary 생성
    ● Tokenizer 및 Processor 생성
    ● 문장 단위로 음성 파일 분할
    ● 학습에 맞게 입력데이터로 변환
    ● Model Network 생성
    ● 학습 및 Argument 세팅
    ● 성능 확인 및 튜닝

     

      다)서비스 활용
    ● 높은 성장률을 보이는 에듀테크 시장에서 본 사업을 통해 구축된 어린이 음성 데이터가 인공지능, 빅데이터 등의 기초 데이터로써 활용
    ● 방송국등에서 다시보기(VOD) 서비스에 자막제작을 하는데 활용될 수 있음

  • 데이터 성능 점수

    측정값 (%)
    기준값 (%)

    데이터 성능 지표

    데이터 성능 지표
    번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수
    1 카테고리 분류 성능 Audio Classification KoBERT AP 86 % 98.03 %
    2 주제어 분류 성능 Audio Classification KoBERT AP 86 % 89.17 %
    3 음성 인식 성능 Speech Recognition HuBERT CER 20 % 11.49 %
    4 음성 인식 성능 Speech Recognition HuBERT WER 25 % 23.31 %

    ※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.

    ※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)

  • 설명서 및 활용가이드 다운로드

    데이터 설명서 다운로드 구축활용가이드 다운로드

    1. 데이터셋 구성

    파일 구분  파일 설명 비고
    *.wav 음성 데이터 파일 원천데이터
    *.json 속성(메타) 정보 파일 라벨링데이터

     

    2. 데이터 구성

    구분 No 속성명 속성 및 내용
    필수  1 type P(프로그램을 지칭)
    필수 2 company EBS, KBS(출처)
    필수 3 program 내부 프로그램 코드(순번)
    필수 4 program_detail 내부 프로그램 상세 코드(순번)
    필수 5 episode 내부 프로그램 하위 에피소드 순번
    필수 6 episode_split 내부 프로그램 하위 에피소드 시나리오 순번
    필수 7 id 내부 ID(시나리오 ID)
    필수 8 title 프로그램 제목
    필수 9 broadcast_date 프로그램 방영일자(년월일)
    필수 10 audio_file 오디오 파일명
    필수 11 audio_path 오디오 파일 위치
    필수 12 category 카테고리 분류
    필수 13 sub_category 하위 카테고리 분류
    필수 14 keyword 주제 키워드
    필수 15 optinion 평판(긍정, 부정, 감정 없음, 대립, 호기심)
    필수 16 conversation_speakers 대화 주체(어린이<->성인, 어린이<->어린이)
    필수 17 sentence_lengths 문장 수(하나의 시나리오에 문장 수)
    필수 18 speaker 화자(화자_001 ~ 화자_999)
    필수 19 speaker_age 발화자 연령
    필수 20 speaker_sex 발화자 성별
    필수 21 speaker_ovr_voc 중첩음
    필수 22 start 문장 시간(자막 시작 시간)00:00:00.001
    필수 23 end 문장 종료시간(자막 종료 시간)00:00:01.001
    필수 24 sentence 문장(실제 대화)
    필수 25 sentence_len 문장 음절 수
    필수 26 place_type 녹음 장소

     

    3. 어노테이션 포맷

    구분 속성명 타입 필수 설명 범위 비고
    여부
    1 id_info object Y 키 정보    
      1-1 type object Y      
      1-1-1 info_key string Y 키값    
    1-1-2 info_value string Y 프로그램    
    1-2 company object Y      
      1-2-1 info_key string Y 키값    
    1-2-2 info_value string Y 방송국(EBS, KBS)    
    1-3 program object Y      
      1-3-1 info_key string Y 키값    
    1-3-2 info_value string Y 프로그램 코드    
    1-4 program_detail object Y      
      1-4-1 info_key string Y 키값    
    1-4-2 info_value string Y      
    1-5 episode object Y 에피소드 정보    
      1-5-1 info_key string Y 키값    
    1-5-2 info_value string Y 에피소드 코드    
    1-6 episode_split object Y      
      1-6-1 info_key string Y 키값    
    1-6-2 info_value string Y 에피소드 분할 순번    
    2 media_info object Y 데이터셋 정보    
      2-1 id string Y 미디어 식별자    
    2-2 title string Y 프로그램 제목    
    2-3 broadcast_date string Y 방영일    
    2-4 audio_file string Y 음성 파일 이름    
    2-5 audio_path string Y 음성 파일 위치    
    2-6 context_info object Y 시나리오 라벨링 정보    
      2-6-1 category string Y 1차 카테고리 정보(4개): 미취학 아동 발달 교육, 어린이 예능, 어린이 교육, 어린이 드라마 0~3 0:classA
    1:classB
    2:classC
    3:classD
    2-6-2 sub_category string Y 2차 카테고리 정보(추가 발생, 사후보정 가능): 고전물, 현대물, 판타지, 교육, 버라이어티, 토크 0~5 0:classA
    1:classB
    2:classC
    3:classD
    4:classE
    5:classF
    2-6-3 keyword string Y 대화 주제 키워드(추가 발생, 사후보정 가능): 예술, 인물위인, 교육, 건강, 사물, 일상, 동화, 자연, 경제, 음식, 기타 0~10 0:classA
    1:classB
    2:classC
    3:classD
    4:classE
    5:classF
    6:classG
    7:classH
    8:classI
    9:classJ
    10:classK
    2-6-4 opinion string Y 평판(추가 발생, 사후보정 가능): 긍정, 부정, 대립, 감정없음, 호기심 0~4 0:classA
    1:classB
    2:classC
    3:classD
    4:classE
    2-6-5 conversation_speakers string Y 대화 주체, 어린이↔어린이, 어린이↔성인 0~2 0:classA
    1:classB
    2:classC
    2-7 sentence_lengths number Y 전체 음절 수    
      2-7-1 sentence_list array Y 문장 라벨링 정보 리스트    
      2-7-1-1 {} object Y 문장 라벨링 정보    
      2-7-1-1-1 speaker string Y 화자    
    2-7-1-1-2 speaker_age string Y 발화자 연령: 5~7세, 8~13세, 14세 이상 0~2 0:classA
    1:classB
    2:classC
    2-7-1-1-3 speaker_sex string Y 성별: 남자, 여자 0~1 0:classA
    1:classB
    2-7-1-1-4 speaker_ovr_voc string Y 중첩음 0~4 0:classA
    1:classB
    2:classC
    3:classD
    4:classE
    2-7-1-1-5 start string Y 문장 시간(자막 시작 시간)    
    2-7-1-1-6 end string Y 문장 종료시간(자막 종료시간)    
    2-7-1-1-7 sentence string Y 실제대화    
    2-7-1-1-8 sentence_len number Y 문장 음절 수    
    2-7-1-1-9 place_type string Y 녹음 장소(추가 발생, 사후보정 가능): 집, 학교/학원, 식당/카페, 상점, 교통수단, 해설 더빙, 실외 0~6 0:classA
    1:classB
    2:classC
    3:classD
    4:classE
    5:classF
    6:classG

     

    4. 라벨링 샘플

    {
      "id_info": {
        "type": {
          "info_key": "P",
          "info_value": "프로그램"
        },
        "company": {
          "info_key": "004",
          "info_value": "EBS"
        },
        "program": {
          "info_key": "0049",
          "info_value": "프로그램코드"
        },
        "program_detail": {
          "info_key": "0001",
          "info_value": "프로그램_상세코드"
        },
        "episode": {
          "info_key": "00003",
          "info_value": "에피소드_코드"
        },
        "episode_split": {
          "info_key": "3",
          "info_value": "에피소드_분할_순번"
        }
      },
      "media_info": {
        "id": "P-004-0049-0001-00003_3",
        "title": "갤럭시 안전 프로젝트",
        "broadcast_date": "20190722",
        "audio_file": "P-004-0049-0001-00003_3.wav",
        "audio_path": "원천데이터/EBS/어린이 드라마",
        "context_info": {
          "category": "어린이 드라마",
          "sub_category": "판타지",
          "keyword": "교육",
          "opinion": "대립",
          "conversation_speakers": "어린이<->성인",
          "sentence_lengths": 827
        },
        "sentence_list": [
          {
            "speaker": "화자_001",
            "speaker_age": "청소년 및 성인(14 이상)",
            "speaker_sex": "남자",
            "speaker_ovr_voc": "없음",
            "start": "00:00:00.001",
            "end": "00:00:02.094",
            "sentence": "재밌는 생각을 해낼 수가 있지?",
            "sentence_len": 17,
            "place_type": "세트장"
          },
          {
            "speaker": "화자_001",
            "speaker_age": "청소년 및 성인(14 이상)",
            "speaker_sex": "남자",
            "speaker_ovr_voc": "없음",
            "start": "00:00:02.094",
            "end": "00:00:03.428",
            "sentence": "헤헤 그렇죠?",
            "sentence_len": 7,
            "place_type": "세트장"
          },
          {
            "speaker": "화자_001",
            "speaker_age": "청소년 및 성인(14 이상)",
            "speaker_sex": "남자",
            "speaker_ovr_voc": "없음",
            "start": "00:00:03.428",
            "end": "00:00:05.352",
            "sentence": "아니 본부장님이랑 저랑 뒤바뀌면.",
            "sentence_len": 18,
            "place_type": "세트장"
          },
           , ...
           , ...
           , ...
          {
            "speaker": "화자_009",
            "speaker_age": "청소년 및 성인(14 이상)",
            "speaker_sex": "해당없음",
            "speaker_ovr_voc": "배경음",
            "start": "00:02:53.866",
            "end": "00:02:55.196",
            "sentence": "n/친구?",
            "sentence_len": 5,
            "place_type": "실외"
          },
          {
            "speaker": "화자_009",
            "speaker_age": "청소년 및 성인(14 이상)",
            "speaker_sex": "해당없음",
            "speaker_ovr_voc": "배경음",
            "start": "00:02:55.196",
            "end": "00:02:56.981",
            "sentence": "n/저 아저씨가 니 친구라고?",
            "sentence_len": 16,
            "place_type": "실외"
          }
        ]
      }
    }
     

  • 데이터셋 구축 담당자

    수행기관(주관) : 고양시
    수행기관(주관)
    책임자명 전화번호 대표이메일 담당업무
    양우현 031-8075-2571 ring21@korea.kr 사업 총괄
    수행기관(참여)
    수행기관(참여)
    기관명 담당업무
    인사이터 데이터 확보 및 가공
    알에스엔 구축 데이터 검수
    데이터크러쉬 AI모델 개발 및 1-Cycle 구현 및 검증
    한국아이티전문가협회 데이터 활용 준비 및 운영
    데이터 관련 문의처
    데이터 관련 문의처
    담당자명 전화번호 이메일
    양우현 031-8075-2571 ring21@korea.kr
보건의료 데이터 개방 안내

보건의료 데이터는 온라인 및 오프라인 안심존을 통해 개방됩니다.

안심존이란 안심존 이용메뉴얼 안심존 이용신청
  • 인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
    * 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
    * 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석

    1. AI 허브 접속
      신청자
    2. 안심존
      사용신청
      신청자신청서류 제출*
    3. 심사구축기관
    4. 승인구축기관
    5. 데이터 분석 활용신청자
    6. 분석모델반출신청자
  • 1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
    2. 기관생명윤리위원회(IRB) 승인된 연구계획서
    3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
    4. 안심존 이용 신청서 [다운로드]
    5. 보안서약서 [다운로드]
    ※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다.

  • 신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의

데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.

API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.

리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.

※ 파일 병합 리눅스 명령어

find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"

- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.

- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.

※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.