AI-Hub

데이터 변경이력

데이터 히스토리

소개

애니메이션의 각 프레임별 다양한 캐릭터의 얼굴의 위치 및 얼굴 세그멘테이션, 캐릭터 감정 등에 대한 데이터 구축으로 애니메이션 제작사 등 종사자 및 학생들이 창작 및 기획 수행에 양질의 데이터를 제공함으로써 애니메이션 산업 발전 도모

구축목적

사람의 얼굴을 캐릭터의 얼굴로 변환 및 생성하기 위해 얼굴의 세그멘테이션 데이터 및 감정 데이터 수집을 목적으로 함

1. 데이터 구축 규모

• 학습용데이터 가공을 위한 원천데이터는 6개 작품으로 함
• 대상은 6개 작품의 58개 캐릭터를 기준으로 하고 데이터가 편향되지 않도록 캐릭터별 원천데이터를 확보
• 감정 클래스는 7개로 하고 감정별 캐릭터별 감정데이터가 편향되지 않도록 캐릭터별 데이터는 7,000개 이상, 캐릭터별 감정별 데이터는 1,020개 이상을 구축 (애니메이션 작품의 특성을 감안하여 캐릭터와 감정의 편향성에 대해서는 실제 도출되는 테이터결과를 기준으로 설정)
• 캐릭터별 감정별 데이터가 편향되거나 부족할 경우 원천데이터를 기존 400,000건 보다 추가 확보하여 전체 데이터를 400,000건 이상 구축
• 얼굴 랜드마크 데이터의 경우 정면, 측면 데이터를 동일 배율로 구축하는 것을 원칙으로 하되 동일 한쪽의 데이터가 부족할 경우 부족한 부문을 최대한 반영

2. 데이터 라벨링/어노테이션 분포

• 작품별 데이터셋 구축결과

  1. 데이터 구축 규모

  작품구분	감정분류							합계
  	놀라움	두려움	분노	슬픔	중립	행복	혐오
  구름빵(1/2/3)	22,433	7,069	3,640	12,370	43,584	79,792	1,355	170,243
  레츠고MBA	7,062	2,454	7,541	5,884	13,398	15,326	1,586	53,251
  숲속배달부 빙빙	7,740	5,355	3,777	4,869	18,765	13,431	1,432	55,369
  라바(1/2/3)	17,140	12,380	6,551	10,327	10,605	15,657	3,544	76,204
  다이노코어(1~5)	9,458	2,945	4,510	2,658	9,956	9,234	1,326	40,087
  꽉잡아	4,083	1,105	4,936	2,678	10,419	5,174	1,614	30,009
  합계	67,916	31,308	30,955	38,786	106,727	138,614	10,857	425,163

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

• StyleGAN2 기반 transfer learning
  • 사람의 얼굴에서 에니메이션 캐릭터로 domain transfer를 해야함
  • Stylegan의 style vector를 사용함
  • 사람 이미지 데이터인 FFHQ 데이터로 학습된 pretrained weight 사용
  • Generator의 몇개의 convolutional neural weight를 freeze 시켜 transfer learning 진행 
  • 사람 데이터와 같은 latent space을 가질 수 있음. 
• StyleGAN2 기반 image projection
  • FFHQ 데이터 기반으로 학습된 pretrained weight를 사용
  • 유저의 얼굴을 latent vector로 projection
  • 이 latent vector를 위에서 에니메이션 데이터로 학습한 모델에 input으로 활용 
• Instance Segmentation 모델 적용
  • 애니메이션 속에 있는 각 캐릭터의 감정을 분류하는 것을 목표로 하기에, 먼저 캐릭터의 위치를 찾아내는 모델과, 이렇게 찾아진 캐릭터의 감정을 분류하는 모델이 필요함
  • Mask RCNN(https://arxiv.org/abs/1703.06870)은 이미지 segmentation과 detection을 하는 알고리즘으로 정리
  • 여기에서의 bounding box와 segmentation 결과를 활용하여 분류기 모델과 생성모델에 적용
  • COCO Dataset (200,000 이미지와 80개 카테고리) 으로 미리 학습된 가중치를 활용하여 전이학습 가능
  • 전이 학습을 통해 효율적인 학습 가능
• VGG(https://arxiv.org/abs/1409.1556)+Mask RCNN(https://arxiv.org/abs/1703.06870) 모델로 분류 작업 수행
  • 감정 분류기 적용
  • SOTA :Understanding cartoon emotion using integrated deep neural network on large dataset(https://link.springer.com/article/10.1007/s00521-021-06003-9)에서 다른 분류 알고리즘에 비해서 VGG16이 잘 되는 것을 검증.
  • VGG16은 기본적인 분류 모델로 특징을 추출하는 레이어와 크기를 축소하는 레이어를 쌓아서 만듬
• 전체 알고리즘
  • StyleGan2와 VGG 모델의 혼합 모델 사용
  • StyleGan2로 이미지를 생성하고, VGG + Mask RCNN 모델로 감정을 분류함
  • 기존 모델을 활용하여 통합된 모델을 연구하는 면에서 연구 가치 존재

데이터 성능 점수

설명서 및 활용가이드 다운로드

1. 구축 데이터의 정의

• Emotion Detection 정보

  1. 구축 데이터의 정의

  분류	필드명	내용
  Image 정보 (단일)	id	이미지에 대한 고유번호
  	width	이미지 detection box의 폭에 대한 값
  	height	이미지 detection box의 높이에 대한 값
  	file_name	이미지 파일 이름
  	license	라이선스 정보 (해당없을 경우 0)
  	date_capture	이미지 캡쳐 날짜 (해당없을 경우 0)
  Annotation 정보 (복수)	segmentation	Detection 영역의 좌표(x, y)가 순차적으로 입력
  	area	box가 가지는 영역
  	bbox	bounding box (x, y, width, height)
  	iscrowd	평가 제외 여부
  	id	Annotation 정보에 대한 고유번호
  	image_id	Annotation 정보에 대응하는 이미지 고유번호
  	category_id	카테고리 정보 고유번호로 본 과제에서는 감정에 해당
  License 정보 (복수)	id	이미지 라이선스 정보의 고유번호
  	name	라이선스명
  	url	라이선스 정보 URL
  Category 정보 (복수)	supercategory	카테고리 이름 (본 과제에서는 emotion으로 명명하여 감정을 표시)
  	id	감정 고유번호 (본 과제는 7개 감정을 표시)
  	name	7개의 감정 중 하나를 표시 *분노(Anger), 혐오(Disgust), 두려움(Fear), 행복(Happiness), 중립(Neutral), 슬픔(Sadness), 놀라움(Surprise)

• Segmentation 정보

  분류	필드명	내용
  Image 정보 (단일)	id	이미지에 대한 고유번호
  	width	이미지 detection box의 폭에 대한 값
  	height	이미지 detection box의 높이에 대한 값
  	file_name	이미지 파일 이름
  	license	라이선스 정보 (해당없을 경우 0)
  	date_capture	이미지 캡쳐 날짜 (해당없을 경우 0)
  Annotation 정보 (복수)	bbox	bounding box (x, y, width, height)
  	segmentation	랜드마크 좌표(x, y)가 순차적으로 입력됨
  		랜드마크의 레이블링 순서는 반드시 일관성있게 유지되어야 함

2. 구축 데이터의 예시

• Emotion Detection Annotation
  

  [그림] 캐릭터 감정 입력 예시
  • 예시) 이미지는 구름빵 애니메이션 화면을 캡쳐하여 jpg 파일로 저장하였으며, 화면에 등장하는 캐릭터는 두 명이고 라이선스는 없으며, 7개의 감정 중 하나로 판단하여 Annotation

  [표] 캐릭터 감정 JSON

• Segmentation Annotation
  
  • 감정입력 이미지와 동일한 이미지에 대해 랜드마크 정보를 Annotation [표] Segmentation JSON

3. 구축 데이터에 대한 라벨링 작업 대상

• 라벨링 작업의 대상: 애니메이션 캐릭터의 얼굴부분 정보에 한함
• 클래스분류 기준
  • 캐릭터 이미지 감정분류 : 분노(Anger), 혐오(Disgust), 두려움(Fear), 행복(Happiness), 중립(Neutral), 슬픔(Sadness), 놀라움(Surprise)
  • 학습에 사용된 캐릭터 뿐만 아닌 범용적인 데이터셋에 확인하기 위하여 기존 데이터 셋과 범용적으로 사용할 수 있는 감정 분류기준 (7개) 사용
  • 세그멘테이션 : 얼굴 윤곽선에 대해 25개 이상의 포인트를 부여한 폴리곤으로 구성
• 세그멘테이션 정보 입력시에는 순서가 포인트 위치정보를 내포하므로 동일한 순서로 라벨링되는 것이 필수적임(왼쪽 상단부터 시작)
• 라벨링 및 어노테이션 구조는 COCO dataset 기준을 참조하여 범용성 및 확장성을 고려하여 설계
• 두 방식 모두 저장 양식은 json을 기준으로 함
• 라벨링/어노테이션 절차

  절차	주요내용
  전처리데이터(입력)	수집 및 정제 후 전처리된 원천데이터를 가공 도구를 통해 제공
  가이드라인 확인	가공 기준 및 검수 기준으로 활용되는 라벨링 가이드라인 확인
  정제된 이미지의 사전 정보 확인	수집 및 정제, 전처리 과정에서 생성된 이미지 정보
  	(카테고리, 사이즈 등)을 확인
  핵심 영역 선정	얼굴, 눈, 코 등 사전 정보를 통해 핵심 특성 확인
  정제된 이미지 확인	제공된 정제 이미지 원천데이터 확인
  이미지 영역 지정	얼굴 및 특징 영역 지정
  감정 분류	감정 분류 정보 태깅

데이터셋 구축 담당자

수행기관(주관) : 강원정보문화진흥원

수행기관(참여)