딥페이크 변조 영상
- 분야영상이미지
- 유형 비디오
-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2021-06-18 데이터 최초 개방 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2022-10-13 신규 샘플데이터 개방 소개
신경망 기반의 변조 알고리즘을 통해 생성된 변조 영상(딥페이크)을 탐지·검출하는 AI 기술 개발을 위해 다양한 탐지 방해의 가능성을 고려하여 학습용 변조영상 데이터 구축
구축목적
신경망 기반의 변조 알고리즘을 통해 생성된 변조 영상(딥페이크)을 탐지·검출하는 AI 기술 개발을 위한 학습용 변조영상 데이터 구축
-
메타데이터 구조표 데이터 영역 영상이미지 데이터 유형 비디오 데이터 형식 데이터 출처 라벨링 유형 라벨링 형식 데이터 활용 서비스 데이터 구축년도/
데이터 구축량2020년/1,500시간 이상 (원시영상 데이터), 625시간 이상 (변조영상 데이터) -
구축 내용 및 제공 데이터량
구축 내용 및 제공 데이터량 표 원시영상 데이터 수량 인당 90초 이상 영상 150개 이상, 총 60,000개 이상 분량 총 1,500시간 이상 (프레임 162,000,000장 이상) 각도 되도록 정면 유지 (상하좌우 대략 30도 이내) 조도 실내외, 얼굴 명도 고려, 극단적 환경 지양 가림 얼굴을 가리는 제스처와 장식 지양 (e.g. 안경) 감정 중립, 긍정, 부정 해상도 1920 x 1080 fps 30 변조영상 데이터 수량 15초 이상 영상 총 150,000개 이상 분량 총 625시간 이상 변조모델 변조모델 5종 이상 해상도 1920 x 1080 fps 30 -
-
AI 모델 상세 설명서 다운로드
AI 모델 다운로드 -
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 FaceForensics++ 벤치마크에 대한 Accuracy Prediction FaceForensic++ Accuracy 91.7 % 95.14 % 2 DFDC 공개 학습셋에 대한 Log Loss Prediction DFDC (Deepfake Detection Challenge Dataset) Log Loss 20.34 % 16.2 %
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드※ 이 데이터에 포함된 인물의 얼굴 등에 대해서는 개인정보 및 초상권의 이용 동의를 받아 제공합니다.
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2021.06.18 데이터 최초 개방 구축목적
- 신경망 기반의 변조 알고리즘을 통해 생성된 변조 영상(딥페이크)을 탐지·검출하는 AI 기술 개발을 위한 학습용 변조영상 데이터 구축
활용분야
- 본 데이터셋을 활용한 딥페이크 탐지 분야 인공지능 기술의 예는 다음과 같음
- 딥페이크 탐지 기술 개발 (다양한 변조 모델, 한국인 중심 데이터, 탐지 방해 고려)
- 랜드마크 기반 얼굴 변조/합성 기술 개발
주요 키워드
- 딥페이크, 딥페이크 변조, 딥페이크 탐지, 딥페이크 탐지 방해, 변조영상 데이터 구축
소개
- 범람하는 딥페이크에 대항하여, 변조된 영상을 식별하는 탐지 모델을 더욱 쉽고 강력하게 개발할 수 있도록 하기의 내용을 반영한 변조영상 데이터셋 구축
- 변조의 다양한 방법론 반영
- 탐지 방해의 가능성을 고려
- 한국인 얼굴 중심의 관련 데이터 구축
구축 내용 및 제공 데이터량
구축 내용 및 제공 데이터량 표 원시영상 데이터 수량 인당 90초 이상 영상 150개 이상, 총 60,000개 이상 분량 총 1,500시간 이상 (프레임 162,000,000장 이상) 각도 되도록 정면 유지 (상하좌우 대략 30도 이내) 조도 실내외, 얼굴 명도 고려, 극단적 환경 지양 가림 얼굴을 가리는 제스처와 장식 지양 (e.g. 안경) 감정 중립, 긍정, 부정 해상도 1920 x 1080 fps 30 변조영상 데이터 수량 15초 이상 영상 총 150,000개 이상 분량 총 625시간 이상 변조모델 변조모델 5종 이상 해상도 1920 x 1080 fps 30 대표도면
<원본이미지 예시>
<합성이미지 예시>
< 데이터 분포 그림 >
필요성
- 딥페이크 영상이 대중의 화제를 일으키고 각종 AI 기반 얼굴 합성/변조 기술이 사업적인 관심을 받으면서 탐지에 대한 필요성이 대두
- 변조/합성 분야가 높은 관심을 받으며 활발히 연구되는 데 비해 변조/합성 탐지 연구에는 상대적으로 적은 관심
- 기존 레퍼런스의 데이터의 문제
- 데이터가 서양인 위주로 편중되어 있음
- 성비가 불균형
- 데이터의 절대량이 부족함
- 영상당 길이와 포맷이 상이한 경우가 있어 일관성이 저해
- 얼굴 변조 접근법의 선택 기준이 명확하지 않음 (낙후된 모델을 사용하거나 저자 본인의 모델 선택)
- 촬영자 ID 분포 등에 대해서 명확히 기록한 메타데이터가 부족
- 탐지방해 요소를 전혀 고려하지 않음
- 벤치마크 모델의 공개의무가 없음 - 이에 따라 딥페이크 탐지모델 학습과 동시에 여러 조건의 강인함을 테스트하고 분석하는 용도의 한국인 영상 데이터가 필수적이며, 이는 공개용 데이터셋 구축이라는 사업의 취지와도 부합함
데이터 구조
딥페이크 변조영상 데이터 구조(컬럼명, 비고) 컬럼명 비고 영상ID 영상의 고유 번호 UUID 촬영자의 고유 번호 촬영시작 촬영 시작 날짜를 기재 감정분류 neutral, negative, positive의 3감정 기재 진위분류 영상이 원본 영상인지 합성 영상인지를 기재 안경여부 촬영자가 안경을 착용했는지 여부를 기재 idle 말을 하지 않고 단순히 정면을 바라보는 영상인지 여부를 기재 내외부 촬영장소가 실내인지 실외인지를 기재 조명종류 촬영의 조명이 자연광인지 인공광인지를 기재 조명수준 조명수준을 밝음, 중간, 낮음 으로 분류하여 기재 소음수준 주변 환경 소음을 조용, 중간, 심함으로 분류하여 기재 -
데이터셋 구축 담당자
수행기관(주관) : ㈜딥브레인AI(舊머니브레인)
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 서승호 02-858-5683 seunghosuh@deepbrainai.io · 공개된 합성 기술을 이용해 15초 내외의 합성 동영상 총 15만 건(약 67,500,000장 프레임) 생성 · 딥페이크 생성 모델 개발 · 딥페이크 탐지 모델 개발 수행기관(참여)
수행기관(참여) 기관명 담당업무 크라우드웍스 · 1분 30초 내외의 셀프 동영상 및 스튜디오
촬영 동영상(MPEG 4.0)총 6만 건 및 데이터 가공
· 사용자의 동의를 얻은 얼굴 데이터
크라우드소싱 및 저작 도구 구축
· 데이터 검수 및 정제서울대학교 산학협력단 · 데이터 생성용 합성 모델 시험, 검증, 평가
· 구축한 데이터를 활용, 딥페이크 탐지 해커톤 개최
· 해커톤 우수팀과의 딥페이크 탐지 공동연구데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 하태종(㈜딥브레인AI) 02-858-5683 tei@deepbrainai.io
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.