콘텐츠로 건너뛰기 메뉴로 건너뛰기 푸터로 건너뛰기
데이터를 불러오고 있습니다
데이터를 저장하고 있습니다
#챗봇 # 스마트 스피커 # AI # 인공지능 대규모 한국어 학습용 데이터 # 데이터 생태계 # 크라우드소싱 # 문자인식 # SNS 대화형 모델 # 온라인 구어체 데이터

온라인 구어체 말뭉치 데이터

온라인 구어체 말뭉치
  • 분야한국어
  • 유형 텍스트
구축년도 : 2021 갱신년월 : 2022-07 조회수 : 17,029 다운로드 : 1,540 용량 :
샘플 데이터 ?

샘플데이터는 데이터의 이해를 돕기 위해 별도로 가공하여 제공하는 정보로써 원본 데이터와 차이가 있을 수 있으며,
데이터에 따라서 민감한 정보는 일부 마스킹(*) 처리가 되어 있을 수 있습니다.

※ 내국인만 데이터 신청이 가능합니다.

  • 데이터 변경이력

    데이터 변경이력
    버전 일자 변경내용 비고
    1.0 2022-07-28 데이터 최초 개방

    데이터 히스토리

    데이터 히스토리
    일자 변경내용 비고
    2023-12-04 AI 모델 등록
    2022-07-28 콘텐츠 최초 등록

    소개

    온라인 플랫폼(게시판, 댓글 등)에서 구어체 위주의 텍스트 데이터를 수집 후 전사 도구를 활용하여 구축된 10억 어절의 말뭉치 요소별(범용용어 및 고유명사) AI 학습 데이터셋

    구축목적

    온라인상 상호 교류 데이터 수집을 통하여 다양한 상호 작용(인터렉티브)문장 표현, 감정 등을 학습할 수 있는 말뭉치 데이터 구축
  • 1. 데이터 구축 규모

    • 원천 데이터
      – 원시데이터(웹데이터)로부터 비문, 비속어, 편향성, 비식별화 등 정제된 JSON 구조의 텍스트 데이터 10억 어절 이상
    • 라벨링 데이터
      – 원천데이터로부터 JSON구조의 구문에 맞게 개체명과 신조어, 형태소(간투어, 부사 등)에 대하여 태깅된 텍스트 데이터 10억 어절 이상

    2. 데이터 분포

    • 출처 및 기간별 분포
      1. 데이터 구축 규모
      No. 항목명 비율
      1  영상 데이터 엔터테인먼트 댓글  26.1%
      2  영상 데이터 사회 댓글  23.4%
      3  DIATV 게시판  18.5%
      4  영상 데이터 게임 댓글  5.1%
      5  영상 데이터 생활 댓글  4.9%
      6  영상 데이터 동물 댓글  3.7%
      7  영상 데이터 제품리뷰 댓글  3.7%
      8  영상 데이터 스포츠 댓글  3.6%
      9  영상 데이터 취미 댓글  3.1%
      10  영상 데이터 연애 댓글  2.2%
      11  영상 데이터 음식 댓글  2.0%
      12  영상 데이터 뷰티 댓글  1.5%
      13  영상 데이터 기타 댓글  1.1%
      14  영상 데이터 건강 댓글  0.7%
      15  자유게시판 웹 크롤링   0.2%
      16  기타  0.2%
      온라인 구어체 말뭉치-데이터 분포_1_출처 및 기간별 분포 그래프
      [출처 및 기간별 분포 그래프]
       
    • 카테고리별 분포
      No. 분류코드 분류명  파일 수 어절수 비율
      1 FO 음식                          12,763                     29,139,007 2.4%
      2 BU 뷰티                          12,044                     31,440,550 2.6%
      3 MA 연애·결혼                          10,255                     32,942,222 2.7%
      4 KP 케이팝                          11,002                     38,443,709 3.1%
      5 AN 동물                          17,043                     43,450,636 3.6%
      6 HE 건강·의학                          19,004                     45,800,736 3.7%
      7 OV 해외                            6,164                     47,203,274 3.9%
      8 HB 취미                          19,310                     47,363,631 3.9%
      9 IE 과학                            8,298                     47,996,619 3.9%
      10 PR 제품리뷰                          17,854                     55,127,746 4.5%
      11 HU 유머                          11,405                     55,730,975 4.6%
      12 LI 일상                          14,835                     59,281,648 4.8%
      13 SP 스포츠                          21,688                     59,618,059 4.9%
      14 EN 엔터테인먼트                          29,783                     73,102,406 6.0%
      15 SO 사회                          31,709                     80,727,123 6.6%
      16 GA 게임                          37,139                     84,097,654 6.9%
      17 SI 사회이슈                          14,110                     85,755,500 7.0%
      18 BR 방송                          39,273                     96,160,656 7.9%
      19 NW 뉴스                          44,888                   103,497,357 8.5%
      20 IB 인터넷방송                          45,856                   106,919,968 8.7%
      합계                       424,423              1,223,799,476 100.0%
      온라인 구어체 말뭉치-데이터 분포_2_카테고리별 어절 분포 그래프
      [카테고리별 어절 분포 그래프]
  • 저작도구 설명서 및 저작도구 다운로드

    저작도구 설명서 다운로드
  • AI 모델 상세 설명서 다운로드

    AI 모델 다운로드

    1. 모델학습

    • 한국어 언어모델 생성 AI 모델링
      • ELECTRA 언어모델 학습 방법을 이용한 언어모델 구축
      • Masked Language Model(MLM)과 Replaced Token Prediction(RTP)을 학습 목표를 향한 언어 모델 학습

    온라인 구어체 말뭉치-모델학습_1_한국어 언어모델 생성 AI 모델링

    • 한국어 파인튜닝 모델 생성 AI 모델링
      • 생성된 언어모델을 활용한 한국어 Downstream Task에 대한 파인튜닝학습 모델 생성 
      • 한국어 파인튜닝학습모델을 만들기 위해서 KLUEBenchmark의 NER, NLI, RE, STS와 KorQuad1.0에서 테스트

    온라인 구어체 말뭉치-모델학습_2_한국어 파인튜닝 모델 생성 AI 모델링

    2. 서비스 시나리오

    • 학습을 완료한 모델은 기계 독해, 문장 분류, 감성 분석, 개체명 인식, 자연어 추론 등의 다양한 자연어 이해 문제를 해결할 수 있음.
    • 이에 따라서 텍스트로 구성된 데이터가 주어진다면, 텍스트를 이용한 다양한 종류의 자연어 처리 서비스 만들 수 있음.
  • 데이터 성능 점수

    측정값 (%)
    기준값 (%)

    데이터 성능 지표

    데이터 성능 지표
    번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수
    1 의미적 유사성 (KLUE-STS) Estimation Transformer 기반 (BERT, ELECTRA 등) F1-Score 0.8314
    2 자연어 추론 (KLUE-NLI) Estimation Transformer 기반 (BERT, ELECTRA 등) F1-Score 0.7954
    3 개체명 인식 (KLUE-NER) Text Classfication Transformer 기반 (BERT, ELECTRA 등) F1-Score 0.8963
    4 관계 추출 (KLUE-RE) Information Extraction Transformer 기반 (BERT, ELECTRA 등) F1-Score 0.6657
    5 기계 독해 (KoQuAD 1.0) Machine Translation Transformer 기반 (BERT, ELECTRA 등) F1-Score 0.913
    6 대화 상대 추적 (KLUE-DST) Estimation Transformer 기반 (BERT, ELECTRA 등) F1-Score 0.8732

    ※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.

    ※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)

  • 설명서 및 활용가이드 다운로드

    데이터 설명서 다운로드 구축활용가이드 다운로드

    1. 데이터 포맷

    온라인 구어체 말뭉치-데이터 포맷_1

     

    2. 데이터 구성 및 어노테이션 포맷

    온라인 구어체 말뭉치-데이터 구성 및 어노테이션 포맷_1

     

    3. 실제 예시

    온라인 구어체 말뭉치-실제 예시_1

  • 데이터셋 구축 담당자

    수행기관(주관) : 솔트룩스
    수행기관(주관)
    책임자명 전화번호 대표이메일 담당업무
    방재준 02-2193-1682 jjbang@saltlux.com · 컨소시엄 총괄 및 관리 · 데이터셋 설계 · 데이터 정제(비식별화) 및 검수 · 저작도구 개발 및 학습모델 구현 · 경진대회 개최
    수행기관(참여)
    수행기관(참여)
    기관명 담당업무
    알토비전 · 데이터 수집 및 정제
    · 데이터 저작권 계약, 데이터 수집 및 표준 설계
    · 비속어, 비방글, 비문 등 삭제, 원천데이터 파일 생성
    이노그루 · 데이터 교차 검수
    오픈큐비트 · 데이터 교차 검수
    알체라 · 데이터 가공
    · 크라우드 워커 모집
    · 저작도구 활용 데이터 가공
    소리자바 · 데이터 가공
    · 크라우드 워커 모집
    · 저작도구 활용 데이터 가공
    데이터 관련 문의처
    데이터 관련 문의처
    담당자명 전화번호 이메일
    방재준 02-2193-1682 jjbang@saltlux.com
보건의료 데이터 개방 안내

보건의료 데이터는 온라인 및 오프라인 안심존을 통해 개방됩니다.

안심존이란 안심존 이용메뉴얼 안심존 이용신청
  • 인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
    * 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
    * 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석

    1. AI 허브 접속
      신청자
    2. 안심존
      사용신청
      신청자신청서류 제출*
    3. 심사구축기관
    4. 승인구축기관
    5. 데이터 분석 활용신청자
    6. 분석모델반출신청자
  • 1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
    2. 기관생명윤리위원회(IRB) 승인된 연구계획서
    3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
    4. 안심존 이용 신청서 [다운로드]
    5. 보안서약서 [다운로드]
    ※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다.

  • 신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의

데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.

API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.

리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.

※ 파일 병합 리눅스 명령어

find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"

- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.

- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.

※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.