AI-Hub

데이터 변경이력

데이터 히스토리

소개

한국어 구어체 텍스트 기반의 정보검색, 대화분석, 질의응답, 명령어 이해, 언어모델 학습 등의 자연어처리 AI 기술 개발을 위한 한국인의 일상대화 SNS 데이터 구축

- 데이터 영역 : 한국어

- 데이터 유형 : 텍스트 

- 구축년도 : 2020년

- 구축량 : 200만건

구축목적

한국어 구어체 텍스트 기반의 정보검색, 대화분석, 질의응답, 명령어 이해, 언어모델 학습 등의 자연어처리 AI 기술 개발을 위한 한국인의 일상대화 메신저 채팅 데이터 구축

구축 내용 및 제공 데이터량

• 한국어 일상대화 200만건
• 말차례 수: 대화당 최소 4회, 평균 8회 내외, 총 1,600만회 내외
• 발화 수: 대화당 최소 8회, 총 3,200만회 내외
• 개인정보 비식별화
• 메타정보(화자정보, 대화 유형, 대화 주제) 부착

  데이터 통계 표

  데이터셋	내용	형식	규모
  한국어 SNS 데이터	·메타정보(화자정보, 대화 유형, 대화 주제)	JSON	2,000,000건

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

데이터 성능 점수

설명서 및 활용가이드 다운로드

데이터 변경이력

구축 목적

• 한국어 구어체 텍스트 기반의 정보검색, 대화분석, 질의응답, 명령어 이해, 언어모델 학습 등의 자연어처리 AI 기술 개발을 위한 한국인의 일상대화 메신저 채팅 데이터 구축

활용 분야

• AI 상담센터, 챗봇, AI 스피커, 개인비서, 스마트홈 등 한국어 구어 자연어 처리 엔진에 필요한 산업

소개

• 대화 참여자와 제공자 모두로부터 개인정보처리 및 저작권 이용 허락 계약을 체결하여 수집한 다양한 주제의 한국어 대화 원문 데이터에 대하여 개인정보 비식별화 및 정제 작업을 거쳐, 대화 주제 분류 후 AI 모델링을 통해 데이터의 유효성을 검증한 한국어 SNS 데이터셋 구축

구축 내용 및 제공 데이터량

• 한국어 일상대화 200만건
• 말차례 수: 대화당 최소 4회, 평균 8회 내외, 총 1,600만회 내외
• 발화 수: 대화당 최소 8회, 총 3,200만회 내외
• 개인정보 비식별화
• 메타정보(화자정보, 대화 유형, 대화 주제) 부착

  구축 내용 및 제공 데이터량 표

  데이터셋	내용	형식	규모
  한국어 SNS 데이터	·메타정보(화자정보, 대화 유형, 대화 주제)	JSON	2,000,000건

대표도면

필요성

• 코비드-19 상황이 장기화되면서 1990년대 후반 이후 미국을 중심으로 시작된 ‘디지털 경제’로의 전환이 가속화됨
• 디지털 경제의 핵심 요소 가운데 하나는 ‘비대면 경제’이므로 비대면 의사소통의 수요가 폭발적으로 증가하고 있음
• 효율적인 비대면 의사소통과 엄청난 속도와 규모로 축적되기 시작한 대화 데이터의 활용성을 높이기 위해서는 대화 처리 기술의 도입이 요구됨
• 대화 처리 기술은 아직 초기 단계에 머물러 있으나 딥러닝 기술의 발달과 대규모 대화 데이터의 구축으로 비약적 발전이 가능할 것으로 기대됨

데이터 구조

• 데이터구성

  데이터구성 표

  Key	Description	Type	Child type
  header	대화 메타 데이터	JsonObject	JsonObject
  {
  dialogueInfo	대화 정보	JsonObject	JsonObject
  {
  dialogueID	대화 ID	String
  numberOfParticipants	대화 참여자 수	Integer
  numberOfUtterances	발화 수	Integer
  numberOfTurns	말차례 수	Integer
  type	대화 유형	string
  topic	대화 주제	string
  }
  participantsInfo	대화 참여자 정보	Array	JsonObject
  [
  participantID	대화 참여자 ID	String
  gender	대화 참여자 성별	String
  age	대화 참여자 연령대	String
  residentialProvince	대화 참여자 거주지역	String
  ]
  }
  body	대화 데이터 본문	Array	JsonObject
  [
  utteranceID	발화 ID	String
  turnID	말차례 ID	String
  participantID	대화 참여자 ID	String
  date	발화 날짜	String
  time	발화 시간	String
  utterance	발화	String
  ]
  }

• 어노테이션 포맷

  어노테이션 포맷 표

  No		항목		길 이	타입	필수 여부
  		한글명	영문명
  1		대화 메타 데이터	header		JsonObject	Y
  	1-1	대화 정보	dialogueInfo		JsonObject	Y
  		{
  	1-1-1	대화 ID	dialogueID		String	Y
  	1-1-2	대화 참여자 수	numberOfParticipants		Integer	Y
  	1-1-3	발화 수	numberOfUtterances		Integer	Y
  	1-1-4	말차례 수	numberOfTurns		Integer	Y
  	1-1-5	대화 유형	type		String	Y
  	1-1-6	대화 주제	topic		String	Y
  		}
  	1-2	대화 참여자 정보	participantsInfo		Array	Y
  		[
  		{
  	1-2-1	대화 참여자 ID	participantID		String	Y
  	1-2-2	대화 참여자 성별	gender		String	Y
  	1-2-3	대화 참여자 연령대	age		String	Y
  	1-2-4	대화 참가자 거주지역	residentialProvince		String	Y
  		}
  		]
  2		대화 데이터 본문	body		JsonObject	Y
  		[
  		{
  	2-1	발화 ID	utteranceID		String	Y
  	2-2	말차례 ID	turnID		String	Y
  	2-3	대화 참여자 ID	participantID		String	Y
  	2-4	발화 날짜	date		String	Y
  	2-5	발화 시간	time		String	Y
  	2-6	발화	utterance		String	Y
  		}
  		]

데이터셋 구축 담당자

수행기관(주관) : 포티투마루

수행기관(참여)

데이터 관련 문의처