콘텐츠로 건너뛰기 메뉴로 건너뛰기 푸터로 건너뛰기
데이터를 불러오고 있습니다
데이터를 저장하고 있습니다
#대화 처리 기술 # 구어 속성 # 문장 성분 생략 # 축약적 표현 # 대화 속성 # 대화 유형 # 대화 내용

한국어 SNS

한국어 SNS
  • 분야한국어
  • 유형 텍스트
구축년도 : 2020 갱신년월 : 2022-05 조회수 : 17,573 다운로드 : 2,153 용량 :
샘플 데이터 ?

샘플데이터는 데이터의 이해를 돕기 위해 별도로 가공하여 제공하는 정보로써 원본 데이터와 차이가 있을 수 있으며,
데이터에 따라서 민감한 정보는 일부 마스킹(*) 처리가 되어 있을 수 있습니다.

※ 내국인만 데이터 신청이 가능합니다.

  • 데이터 변경이력

    데이터 변경이력
    버전 일자 변경내용 비고
    1.2 2022-05-10 데이터 품질 보완
    1.1 2022-01-07 데이터 품질 보완 및 추가 개방
    1.0 2021-06-30 데이터 최초 개방

    데이터 히스토리

    데이터 히스토리
    일자 변경내용 비고
    2023-07-21 AI 모델 설명서 개방

    소개

    한국어 구어체 텍스트 기반의 정보검색, 대화분석, 질의응답, 명령어 이해, 언어모델 학습 등의 자연어처리 AI 기술 개발을 위한 한국인의 일상대화 SNS 데이터 구축

    구축목적

    한국어 구어체 텍스트 기반의 정보검색, 대화분석, 질의응답, 명령어 이해, 언어모델 학습 등의 자연어처리 AI 기술 개발을 위한 한국인의 일상대화 메신저 채팅 데이터 구축
  • 구축 내용 및 제공 데이터량

    • 한국어 일상대화 200만건
    • 말차례 수: 대화당 최소 4회, 평균 8회 내외, 총 1,600만회 내외
    • 발화 수: 대화당 최소 8회, 총 3,200만회 내외
    • 개인정보 비식별화
    • 메타정보(화자정보, 대화 유형, 대화 주제) 부착
      데이터 통계 표
      데이터셋 내용 형식 규모
      한국어 SNS 데이터 ·메타정보(화자정보, 대화 유형, 대화 주제) JSON 2,000,000건
  • 저작도구 설명서 및 저작도구 다운로드

    저작도구 설명서 다운로드 저작도구 다운로드
  • AI 모델 상세 설명서 다운로드

    AI 모델 다운로드 AI 모델 상세 설명서 다운로드
  • 데이터 성능 점수

    측정값 (%)
    기준값 (%)

    데이터 성능 지표

    데이터 성능 지표
    번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수
    1 대화 응답 성능(Average) Question Answering Bi-Encoder using Roberta R10@1 0.82 단위없음 0.8617 단위없음
    2 대화 응답 성능(Min) Question Answering Bi-Encoder using Roberta R10@1 0.74 단위없음 0.8559 단위없음

    ※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.

    ※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)

  • 설명서 및 활용가이드 다운로드

    데이터 설명서 다운로드 구축활용가이드 다운로드

    데이터 변경이력

    데이터 변경이력
    버전 일자 변경내용 비고
    1.2 2022.05.10 데이터 품질 보완  
    1.1 2022.01.07 데이터 품질 보완 및 추가 개방  
    1.0 2021.06.30 데이터 최초 개방  

    구축 목적

    • 한국어 구어체 텍스트 기반의 정보검색, 대화분석, 질의응답, 명령어 이해, 언어모델 학습 등의 자연어처리 AI 기술 개발을 위한 한국인의 일상대화 메신저 채팅 데이터 구축

    활용 분야

    • AI 상담센터, 챗봇, AI 스피커, 개인비서, 스마트홈 등 한국어 구어 자연어 처리 엔진에 필요한 산업

    소개

    • 대화 참여자와 제공자 모두로부터 개인정보처리 및 저작권 이용 허락 계약을 체결하여 수집한 다양한 주제의 한국어 대화 원문 데이터에 대하여 개인정보 비식별화 및 정제 작업을 거쳐, 대화 주제 분류 후 AI 모델링을 통해 데이터의 유효성을 검증한 한국어 SNS 데이터셋 구축한국어SNS데이터 소개 프로세스 예시 이미지

    구축 내용 및 제공 데이터량

    • 한국어 일상대화 200만건
    • 말차례 수: 대화당 최소 4회, 평균 8회 내외, 총 1,600만회 내외
    • 발화 수: 대화당 최소 8회, 총 3,200만회 내외
    • 개인정보 비식별화
    • 메타정보(화자정보, 대화 유형, 대화 주제) 부착
      구축 내용 및 제공 데이터량 표
      데이터셋 내용 형식 규모
      한국어 SNS 데이터 ·메타정보(화자정보, 대화 유형, 대화 주제) JSON 2,000,000건

    대표도면

    한국어SNS 대표도면 예시 이미지

    필요성

    • 코비드-19 상황이 장기화되면서 1990년대 후반 이후 미국을 중심으로 시작된 ‘디지털 경제’로의 전환이 가속화됨
    • 디지털 경제의 핵심 요소 가운데 하나는 ‘비대면 경제’이므로 비대면 의사소통의 수요가 폭발적으로 증가하고 있음
    • 효율적인 비대면 의사소통과 엄청난 속도와 규모로 축적되기 시작한 대화 데이터의 활용성을 높이기 위해서는 대화 처리 기술의 도입이 요구됨
    • 대화 처리 기술은 아직 초기 단계에 머물러 있으나 딥러닝 기술의 발달과 대규모 대화 데이터의 구축으로 비약적 발전이 가능할 것으로 기대됨

    데이터 구조

    • 데이터구성
      데이터구성 표
      Key Description Type Child type
      header 대화 메타 데이터 JsonObject JsonObject
      {      
      dialogueInfo 대화 정보 JsonObject JsonObject
      {      
      dialogueID 대화 ID String  
      numberOfParticipants 대화 참여자 수 Integer  
      numberOfUtterances 발화 수 Integer  
      numberOfTurns 말차례 수 Integer  
      type 대화 유형 string  
      topic 대화 주제 string  
      }      
      participantsInfo 대화 참여자 정보 Array JsonObject
      [      
      participantID 대화 참여자 ID String  
      gender 대화 참여자 성별 String  
      age 대화 참여자 연령대 String  
      residentialProvince 대화 참여자 거주지역 String  
      ]      
      }      
      body 대화 데이터 본문 Array JsonObject
      [      
      utteranceID 발화 ID String  
      turnID 말차례 ID String  
      participantID 대화 참여자 ID String  
      date 발화 날짜 String  
      time 발화 시간 String  
      utterance 발화 String  
      ]      
      }      
    • 어노테이션 포맷
      어노테이션 포맷 표
      No 항목
      타입 필수
      여부
      한글명 영문명
      1 대화 메타 데이터 header   JsonObject Y
        1-1 대화 정보 dialogueInfo   JsonObject Y
        {        
        1-1-1 대화 ID dialogueID   String Y
        1-1-2 대화 참여자 수 numberOfParticipants   Integer Y
        1-1-3 발화 수 numberOfUtterances   Integer Y
        1-1-4 말차례 수 numberOfTurns   Integer Y
        1-1-5 대화 유형 type   String Y
        1-1-6 대화 주제 topic   String Y
        }        
        1-2 대화 참여자 정보 participantsInfo   Array Y
        [        
           {        
        1-2-1 대화 참여자 ID participantID   String Y
        1-2-2 대화 참여자 성별 gender   String Y
        1-2-3 대화 참여자 연령대 age   String Y
        1-2-4 대화 참가자
      거주지역
      residentialProvince   String Y
           }        
        ]        
      2 대화 데이터 본문 body   JsonObject Y
        [        
           {        
        2-1 발화 ID utteranceID   String Y
        2-2 말차례 ID turnID   String Y
        2-3 대화 참여자 ID participantID   String Y
        2-4 발화 날짜 date   String Y
        2-5 발화 시간 time   String Y
        2-6 발화 utterance   String Y
           }        
        ]        
  • 데이터셋 구축 담당자

    수행기관(주관) : 포티투마루
    수행기관(주관)
    책임자명 전화번호 대표이메일 담당업무
    김동환 02-6952-9201 bd@42maru.ai · 원문 데이터 확보 및 제공 · 데이터 구축 총괄
    수행기관(참여)
    수행기관(참여)
    기관명 담당업무
    바이브컴퍼니 · 원문 데이터 정제(크라우드소싱 활용)
    · 주제 분류 및 생성 요약문 작성(크라우드소싱 활용)
    · 결과물 검수 및 검증
    · 일상 대화 생성 AI 모델을 활용한 응용 서비스 개발(한국어 일상 대화 생성 시범 서비스)
    데이터 관련 문의처
    데이터 관련 문의처
    담당자명 전화번호 이메일
    김수경(바이브컴퍼니) 02-565-0531 ckaskan@vaiv.kr
보건의료 데이터 개방 안내

보건의료 데이터는 온라인 및 오프라인 안심존을 통해 개방됩니다.

안심존이란 안심존 이용메뉴얼 안심존 이용신청
  • 인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
    * 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
    * 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석

    1. AI 허브 접속
      신청자
    2. 안심존
      사용신청
      신청자신청서류 제출*
    3. 심사구축기관
    4. 승인구축기관
    5. 데이터 분석 활용신청자
    6. 분석모델반출신청자
  • 1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
    2. 기관생명윤리위원회(IRB) 승인된 연구계획서
    3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
    4. 안심존 이용 신청서 [다운로드]
    5. 보안서약서 [다운로드]
    ※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다.

  • 신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의

데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.

API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.

리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.

※ 파일 병합 리눅스 명령어

find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"

- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.

- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.

※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.