-
소개
스트레스 상황 하에서의 100명 한국인의 피부전도도, 광용적맥파, 피부 온도, 가속도계 정보를 수집 실험 단계 별로 시작 시간과 끝 시간을 저장하고 각 단계의 스트레스 단계 정의
구축목적
국내 심리상담 챗봇 서비스의 활성화를 위해서는 기계학습에 활용할 수 있는 멀티모달 데이터 확보가 필요함 스트레스 유발 인자나 스트레스를 받았을 때 보이는 신체 변화는 지역에 따라 다르므로 국내 특화 서비스를 위해 한국인을 대상으로 한 데이터셋 구축 필요 사용자의 심리 상태 및 스트레스 모니터링 기술을 개발하기 위해서는 다양한 사람들의 다양한 스트레스 수준에서의 멀티모달 데이터가 필요함
-
구축량
- 20~30대 남녀 50명을 모집하여 영상, 음성, 생체 신호 데이터를 취득
- 1명당 1시간 30분 동안 실험을 진행하면서 데이터를 취득
- 영상 데이터의 경우 1명당 40분 정도 취득
- 음성 데이터의 경우 1명당 30분 정도 취득
- 생체 신호 데이터의 경우 1명당 1시간 30분 정도 취득
-
구축량
- 20~30대 남녀 50명을 모집하여 영상, 음성, 생체 신호 데이터를 취득
- 1명당 1시간 30분 동안 실험을 진행하면서 데이터를 취득
- 영상 데이터의 경우 1명당 40분 정도 취득
- 음성 데이터의 경우 1명당 30분 정도 취득
- 생체 신호 데이터의 경우 1명당 1시간 30분 정도 취득
대표 도면
<데이터 취득 실험 시나리오>
<데이터 취득 실험 장비 세팅>
<생체 신호 데이터 구성>
필요성
- 국내 심리상담 챗봇 서비스의 활성화를 위해서는 기계학습에 활용할 수 있는 멀티모달 데이터 확보가 필요함
- 스트레스 유발 인자나 스트레스를 받았을 때 보이는 신체 변화는 지역에 따라 다르므로 국내 특화 서비스를 위해 한국인을 대상으로 한 데이터셋 구축 필요
- 사용자의 심리 상태 및 스트레스 모니터링 기술을 개발하기 위해서는 다양한 사람들의 다양한 스트레스 수준에서의 멀티모달 데이터가 필요함
- 현재 스트레스 인식을 위해 공개된 데이터셋은 대부분 국외에서 구축된 데이터셋이며 그 중에 특히 영상, 음성, 생체 신호로 구성된 멀티모달 데이터셋은 없는 것으로 파악됨
- 또한 딥러닝 모델 훈련에 적합한 양의 스트레스 데이터는 세계적으로 희귀함
구축 내용
- 영상을 이용한 스트레스 인식을 위하여 20~30대 남녀 50명의 스트레스 및 비스트레스 상황에서의 영상 데이터를 취득함
- 첫 번째 영상 시청, 한국어 대본 읽기, 한국어 인터뷰, 영어 대본 읽기, 영어 인터뷰, 총 5단계에 대해서 영상 데이터를 취득함
- 각 단계를 시작할 때 영상 녹화를 시작하고 각 단계가 종료될 때 녹화를 종료하며 총 데이터 취득 시간은 40분 정도임
- 영상 해상도는 1920 x 1080이고 저장 속도는 10fps 정도이며 파일 확장자는 jpg임
- 피실험자의 개인 정보 유출을 막기 위하여 원본 영상을 공개하는 것이 아니라 원본 영상 속 피실험자의 얼굴이 미리 학습된 네트워크를 통과하여 나온 특징맵을 공개함
- 음성을 이용한 스트레스 인식을 위하여 20~30대 남녀 50명의 스트레스 및 비스트레스 상황에서의 음성 신호를 취득함
- 주어진 스크립트에 대한 발화 데이터(화자당 5분)와 인터뷰 데이터(화자당 약 10분)로 구성됨
- 화자당 평균 발성시간 : 한국어 15분 / 영어 15분
- 녹음형태 : 44.1kHz, headerless 32bit Linear PCM Mono 데이터
- 녹음환경 : 조용한 환경에서 핀마이크로 녹음
- 공개 시 원본 wav파일이 아닌 mel-spectrogram feature로서 제공
- 스트레스 상황 하에서의 100명 한국인의 피부전도도, 광용적맥파, 피부 온도, 가속도계 정보를 수집
- 실험 단계 별로 시작 시간과 끝 시간을 저장하고 각 단계의 스트레스 단계 정의
- *gsr.csv 파일
- 타임스탬프 (unix 시간, 단위는 초), 피부 전도도 값 형태 - *bvp.csv 파일
- 타임스탬프 (unix 시간, 단위는 초), 광용적맥파 값 형태 - *temp.csv 파일
- 타임스탬프 (unix 시간, 단위는 초), 피부 온도 (손목 부분의 체온) 형태 - *acc.csv 파일
- 타임스탬프 (unix 시간, 단위는 초), 착용 손목의 움직임에 따른 가속도계 값 형태 - *_time.txt 파일
- 전체 실험 과정 중 살펴보고자 하는 단계의 처음과 끝을 표기한 타임스탬프 모음
- 전체 실험 과정을 촬영한 데이터는 생체신호밖에 없으므로 생체신호 데이터에 대해서만 유효함
- 스트레스 안받음: 3~4, 9~10번째 타임스탬프 사이 구간
- 스트레스 약하게 받음: 5~6번째 타임스탬프 사이 구간
- 스트레스 강하게 받음: 11~12번째 타임스탬프 사이 구간
데이터 구조
- 영상 데이터의 경우 원본 jpg 영상 파일에서 얼굴 부분만 crop한 후 미리 학습한 네트워크를 통과시켜서 나온 특징맵을 npy 확장자 형태로 제공
- 파일 형식 : A_B_C.npy
- A: 데이터 취득 시간, 예) 20191113_170433
- B: 실험자 코드 번호, 예) 001~050
- C: 프레임 번호, 예) 00630 - 음성 데이터 파일 형식 :: AAAAAA_BBB_C.npy
- A : 실험 날짜, 예) 190930
- B : 실험자 코드 번호 (001~050)
- C : 음성 샘플 레이블 (script_kor / script_eng / interview_kor / interview_eng) - JSON 구조의 메타정보로 사람별 생체 정보 및 타임스탬프 정보 전달 (UTF-8)
{ "file_path": "P1_E_gsr.csv", "id": 1, } { "file_path": "P1_E_bvp.csv", "id": 1, } { "file_path": "P1_E_temp.csv", "id": 1, } { "file_path": "P1_E_acc.csv", "id": 1, } { "file_path": "P1_t.txt", "id": 1, }
활용 예시
- 챗봇 사용자의 스트레스 완화 : 챗봇 사용자의 스트레스 상태를 파악하여 스트레스가 심하다면 이를 완화시키는 방향으로 대화를 유도할 수 있음
- 화자 인식 : 다양한 데이터가 화자별로 레이블링되어 있으므로 화자 인식에 활용 가능
Git-hub 바로가기
다운로드 폴더 구성정보
-
데이터셋 구축 담당자
수행기관(주관) : 연세대학교
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 전태재 02-2123-7843 jtj7587@yonsei.ac.kr
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.