이상행동 CCTV 영상
- 분야재난안전환경
- 유형 비디오
-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.1 2023-06-28 데이터 통계 수정 1.0 2019-12-31 데이터 최초 개방 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2022-10-07 저작도구 매뉴얼 업데이트 소개
12가지의 이상행동(폭행, 싸움, 절도, 기물파손, 실신, 배회, 침입, 투기, 강도, 데이트 폭력 및 추행, 납치, 주취행동), 총 700시간(8400컷) 비디오 데이터셋 촬영 및 구축한 영상 데이터 제공
구축목적
공공 보안용 CCTV에서 이상행동 발생 시 검출하기 위한 인공지능 학습용 데이터
-
메타데이터 구조표 데이터 영역 재난안전환경 데이터 유형 비디오 데이터 형식 데이터 출처 라벨링 유형 라벨링 형식 데이터 활용 서비스 데이터 구축년도/
데이터 구축량2019년/700시간 -
구축내용
- 12가지의 이상행동(폭행, 싸움, 절도, 기물파손, 실신, 배회, 침입, 투기, 강도, 데이트폭력 및 추행, 납치, 주취행동), 총 717시간(8436컷) 이상행동 영상 데이터셋 촬영 및 구축
구축량
- 12가지의 이상행동(폭행, 싸움, 절도, 기물파손, 실신, 배회,침입, 투기, 강도, 데이트폭력 및 추행, 납치, 주취행동), 총 700시간(8400컷) 비디오 데이터셋 촬영 및 구축
상식 데이터 구축내용 표 (구축년도,데이터종류,포함내용,제공방식) 이상행동명칭 영상 개수 영상 시간 01.폭행(Assault) 913 78:05:41 02.싸움(Fight) 1174 99:54:45 03.절도(Burglary) 839 69:33:24 04.기물파손(Vandalism) 490 41:28:46 05.실신(Swoon) 912 84:26:16 06.배회(Wander) 645 55:24:50 07.침입(Trespass) 259 22:03:15 08.투기(Dump) 623 50:07:11 09.강도(Robbery) 364 30:52:55 10.데이트폭력 및 추행(Datefight) 693 58:21:45 11.납치(Kidnap) 262 22:24:08 12.주취행동(Drunken) 1262 104:20:37 합계 8436 717:03:33 -
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 이상행동 탐지 Action Recognition I3D AUC-ROC 단위없음 0.766 단위없음 2 이상행동 학습 성능 (에스컬레이터전도) Classification I3D(Inflated 3D ConvNet) F1-Score 0.8 점 0.959 점 3 이상행동 학습 성능 (계단 전도) Classification I3D(Inflated 3D ConvNet) F1-Score 0.8 점 0.853 점 4 이상행동 학습 성능 (환경 전도) Classification I3D(Inflated 3D ConvNet) F1-Score 0.8 점 0.802 점 5 이상행동 학습 성능 (몰카 촬영) Classification I3D(Inflated 3D ConvNet) F1-Score 0.8 점 0.877 점 6 이상행동 학습 성능 (주취행동) Classification I3D(Inflated 3D ConvNet) F1-Score 0.6 점 0.718 점 7 이상행동 학습 성능 (배회) Classification I3D(Inflated 3D ConvNet) F1-Score 0.8 점 0.803 점 8 이상행동 학습 성능 (실신) Classification I3D(Inflated 3D ConvNet) F1-Score 0.8 점 0.923 점 9 이상행동 학습 성능 (기물파손) Classification I3D(Inflated 3D ConvNet) F1-Score 0.7 점 0.709 점 10 이상행동 학습 성능 (유기) Classification I3D(Inflated 3D ConvNet) F1-Score 0.8 점 0.801 점 11 이상행동 학습 성능 (폭행) Classification I3D(Inflated 3D ConvNet) F1-Score 0.8 점 0.808 점 12 이상행동 학습 성능 (절도) Classification I3D(Inflated 3D ConvNet) F1-Score 0.6 점 0.774 점 13 이상행동 학습 성능 (개집표기 출입방향 오인) Classification I3D(Inflated 3D ConvNet) F1-Score 0.7 점 0.783 점 14 이상행동 학습 성능 (개집표기 무단진입) Classification I3D(Inflated 3D ConvNet) F1-Score 0.7 점 0.724 점
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2019.12.31 데이터 최초 개방 구축목적
- 공공 보안용 CCTV에서 이상행동 발생 시 검출하기 위한 인공지능 학습용 데이터
활용분야
- 공공분야 지능형 CCTV 분야
사례
- 수원시 도시통합안전센터 시범서비스 적용
구축량
- 12가지의 이상행동(폭행, 싸움, 절도, 기물파손, 실신, 배회,침입, 투기, 강도, 데이트폭력 및 추행, 납치, 주취행동), 총 700시간(8400컷) 비디오 데이터셋 촬영 및 구축
상식 데이터 구축내용 표 (구축년도,데이터종류,포함내용,제공방식) 이상행동명칭 영상 개수 영상 시간 01.폭행(Assault) 913 78:05:41 02.싸움(Fight) 1174 99:54:45 03.절도(Burglary) 839 69:33:24 04.기물파손(Vandalism) 490 41:28:46 05.실신(Swoon) 912 84:26:16 06.배회(Wander) 645 55:24:50 07.침입(Trespass) 259 22:03:15 08.투기(Dump) 623 50:07:11 09.강도(Robbery) 364 30:52:55 10.데이트폭력 및 추행(Datefight) 693 58:21:45 11.납치(Kidnap) 262 22:24:08 12.주취행동(Drunken) 1262 104:20:37 합계 8436 717:03:33 대표도면
필요성
CCTV 영상의 특수성 인식 및 양질의 데이터 구축 필요
-
CCTV 데이터는 안면인식, 의료 등과 더불어 규제가 특히 심한 부문임
- 개인정보보호법 및 시행령, 시행규칙과 지방자치단체의 CCTV 설치 및 운영 규정, 공공기관 CCTV 관리 가이드라인 등에 의거하여 CCTV 화상정보의 수집·처리 관련 행위가 엄격하게 제한됨
- 정부·공공 주도하에 공개 가능한 CCTV 영상 데이터의 구축 및 공개·유통은 민간기업의 AI 기술 발전을 위해 큰 의의를 지님 -
한국형 CCTV 영상 데이터 필요성 대두
- 공개된 해외 CCTV 영상은 한국의 환경에 적용하기 어려움(Ex. 총격, 폭발 등의 이상행동 케이스)
- 정부차원에서 관리하는 5대 중대범죄 중심의 이상행동 정의 및 그에 따른 AI 학습용 CCTV 영상 데이터 필요
- 실제 지자체 CCTV 환경과 유사한 데이터, 한국 생활에 밀접한 데이터 필요 (Ex. 상대적으로 조건이 열악한 도로변이나 주택가, 낮은 해상도, 어두운 골목길 등의 배경 상황, 쓰레기나 의심물체의 유기, 주택 주변 배회, 담을 넘는 행위 등)
민·관 협력하여 대규모 데이터 구축 및 개방 필요
-
주요국은 AI·데이터 분야 선제적 투자 및 대규모 데이터 확보 및 개방
- 미국, 유럽 등 AI 선도국에서는 정부와 민간 협업과 투자로 대규모의 데이터를 구축하여 공개
- 국내 중소·벤처기업들은 AI 학습용 원천 데이터의 확보가 어렵고, 데이터의 자체 구축과 가공에 많은 시간과 비용 소요 -
선진국과의 기술격차를 줄이기 위한 노력 필요
- 데이터, AI 분야별 육성전략과 융합촉진을 위한 정책을 통해 다양한 영역에서 데이터와 AI 발전 도모 -
한국정보화진흥원(NIA) AI 허브 계획 중
- 데이터셋, 알고리즘, 컴퓨팅 파워의 원스톱 지원을 위한 AI 혁신 생태계
웹 기반의 데이터셋 관련 생태계 구축
-
웹 기반의 레이블링, 검증, 검색 및 관리 기능을 포함하는 개방형 데이터셋 플랫폼을 개발하여, 데이터셋 생성 및 사용에 대한 접근성을 극대화하고 데이터셋 확산 생태계를 구축
구축내용
- 12가지의 이상행동(폭행, 싸움, 절도, 기물파손, 실신, 배회, 침입, 투기, 강도, 데이트폭력 및 추행, 납치, 주취행동), 총 717시간(8436컷) 이상행동 영상 데이터셋 촬영 및 구축
데이터 구조
이상행동 검출 데이터셋은 다음과 같이 두 가지 형태의 데이터로 구성됨
- CCTV 동영상 mp4 파일
- 정보 xml 파일 : 각 동영상 내의 action 및 anomaly를 포함하는 event 등의 정보를 가지고 있는 xml 형식의 텍스트 파일 (정보 xml 파일은 레이블링 툴의 출력임)
Level1 Level2 Level3 Level4 folder filename source database annotation size width height depth header duration fps frames location weather time event eventname starttime duration object name position keyframe keypoint x y action actionname frame start end Key Description Level1 folder 상위 이상행동 폴더 명 filename 원본데이터 명(영상파일과 동일) source 버전 정보 size 영상 크기 정보 header 시나리오 정보 event 이상행동 정보 object 이상행위 정보 Level2 database Database 버전 명 annotation annotation 구조 명 width xml 파일에 대응되는 영상의 width 값 height xml 파일에 대응되는 영상의 heights 값 depth xml 파일에 대응되는 영상의 channels 값 duration 영상 길이 초당 프레임 수 frames 영상의 총 프레임 수 location 영상 속 장소 weather 영상 속 날씨 time 시간대 eventname 이상행동 명 starttime 이상행동 발생 시간 duration 이상행동 지속 시간 objectname object 명 position object의 위치 정보 action action의 정보(복수) key Description Level3 positionframe object의 위치 정보 keypoint 위 프레임에서 object의 위치 actionname action명 actionframe action이 발생하는 시작프레임과 끝 프레임을 리스트로 나타냄 Level4 x keypoint의 x축 좌표 y keypoint의 y축 좌표 start frame의 시작 지점 end frame의 종료 지점 -
데이터셋 구축 담당자
수행기관(주관) : 마인즈랩
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 안준환 031-625-4349 pworks@mindslab.ai · 이상행동 CCTV 영상 데이터 구축 및 검수 · AI모델, 데이터셋플랫폼 · 테스트베드 구축 및 검증 수행기관(참여)
수행기관(참여) 기관명 담당업무 ㈜마인즈앤컴퍼니 · 학습데이터 분류체계 구축 및
· 설계 영상 데이터 검수수원시청 · 이상행동 CCTV 테스트베드 제공 및 운영 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 안준환(마인즈랩) 031-625-4349 pworks@mindslab.ai
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.