-
소개
네이버 뉴스 기사에 등록된 댓글들과 한국어 트위터 사용자의 트윗들을 수집 비속/비윤리적 표현의 빈도수가 많은 특정 온라인 커뮤니티의 댓글들을 수집하여 구축
구축목적
윤리 연구를 위하여 한국어로 이루어진 윤리/비윤리 데이터 말뭉치 구축 필요 변형된 비윤리 표현과 문장을 연구하기 위해 사람들의 소통이 많은 사이트에서 데이터 수집 필요 문맥 탐지에 특화된 딥러닝 모델에 사용하기 위해서는 욕설을 포함하지 않은 문맥적 비윤리 데이터가 필요
-
구축량
- 1차년도: 뉴스기사 댓글 7,000만 건, 트위터 3,000만 건
- 2차년도: 온라인 커뮤니티 (네이버, 다음 뉴스 기사) 댓글 4,500만 건
- 3차년도: 온라인 커뮤니티 (네이버, 다음 뉴스 기사) 댓글 2,000만 건
-
구축량
- 1차년도: 뉴스기사 댓글 7,000만 건, 트위터 3,000만 건
- 2차년도: 온라인 커뮤니티 (네이버, 다음 뉴스 기사) 댓글 4,500만 건
- 3차년도: 온라인 커뮤니티 (네이버, 다음 뉴스 기사) 댓글 2,000만 건
대표 도면
필요성
- 윤리 연구를 위하여 한국어로 이루어진 윤리/비윤리 데이터 말뭉치 구축 필요
- 변형된 비윤리 표현과 문장을 연구하기 위해 사람들의 소통이 많은 사이트에서 데이터 수집 필요
- 비속/비윤리 표현이 많은 특정 온라인 커뮤니티를 위주로 수집
- 비윤리 상황으로는 욕설이 포함된 경우와 포함되지 않은 경우가 존재함
- 문맥 탐지에 특화된 딥러닝 모델에 사용하기 위해서는 욕설을 포함하지 않은 문맥적 비윤리 데이터가 필요
- 딥러닝 모델을 학습시키기 위해서는 다양한 패턴의 텍스트 데이터 확보가 중요
구축 내용
- Text 파일 형식
- 네이버 뉴스 기사에 등록된 댓글들과 한국어 트위터 사용자의 트윗들을 수집
- 비속/비윤리적 표현의 빈도수가 많은 특정 온라인 커뮤니티의 댓글들을 수집하여 구축
- 1차년도: 뉴스기사 댓글 7000만 건, 트위터 3000만 건
- 2차년도: 온라인 커뮤니티 (네이버, 다음 뉴스 기사) 댓글 4,500만 건
- 3차년도: 온라인 커뮤니티 (네이버, 다음 뉴스 기사) 댓글 2,000만 건
데이터 구조
- 수집된 댓글 내용을 라인별로 저장함
- 예시)
: 이게 만민은 법 앞에서 평등하다는건가?
: 이러니 북한이 남한을 만만하게 보는거다.. 뿌리가썩어가니 곧 쓰러진다는걸 알고...
: 판사시키들 딸이 강간당하면?
: 아마도 무기겠지..
활용 예시
- 욕설이 포함되지 않은 비윤리 데이터는 문맥추출을 위한 딥러닝 모델 개발에 주요 데이터로 사용됨
- long dependency problem은 딥러닝 모델의 큰 문제로 대두됨. 수집 데이터를 문장 길이에 따라 분류하여 길이에 특화된 딥러닝 모델을 개발할 수 있음
다운로드 폴더 구성정보
-
데이터셋 구축 담당자
수행기관(주관) : 연세대학교 교수
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 한요섭 02-2123-5725 emmous@yonsei.ac.kr
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.