콘텐츠로 건너뛰기 메뉴로 건너뛰기 푸터로 건너뛰기
데이터를 불러오고 있습니다
데이터를 저장하고 있습니다
#교통/모빌리티 #자율주행

BETA 열화상 카메라 융합 자율주행 데이터

열화상 카메라 융합 자율주행 데이터 아이콘 이미지
  • 분야교통물류
  • 유형 3D , 이미지 , 텍스트
구축년도 : 2023 갱신년월 : 2024-08 조회수 : 1,223 다운로드 : 20 용량 :
샘플 데이터 ?

샘플데이터는 데이터의 이해를 돕기 위해 별도로 가공하여 제공하는 정보로써 원본 데이터와 차이가 있을 수 있으며,
데이터에 따라서 민감한 정보는 일부 마스킹(*) 처리가 되어 있을 수 있습니다.

※ 내국인만 데이터 신청이 가능합니다.

  • 데이터 변경이력

    데이터 변경이력
    버전 일자 변경내용 비고
    1.0 2024-08-09 데이터 개방 Beta Version

    데이터 히스토리

    데이터 히스토리
    일자 변경내용 비고
    2024-08-09 산출물 공개 Beta Version

    소개

    - 열화상 카메라 및 융합 센서를 활용한 자율주행 데이터 수집 및 주행환경에 포착된 동적, 정적 객체 정보 데이터를 220시간 이상 취득하고, 열화상 카메라를 포함한 멀티모달 센서에서 취득된 이미지 + 라벨링데이터셋 8만장을 구축하여 자율주행 동적, 정적 객체 인식도 향상

    구축목적

    - 가시성 확보가 열악한 주행 상황에서 발생하는 다양한 교통환경(보행자, 차량, 신호등, 교차로, 횡단보도 등)데이터의 학습을 통해 자율주행 차량의 판단에 활용되는 인공지능 모델(3차원 객체 인지, 추적, 예측 등) 연구 등에 활용
  • - 데이터 구축 규모
      - 원시 데이터 : 주행 영상 220시간 이상
      - RGB 이미지 8만장 + 라벨링데이터(2D Segmentation)
      - 열화상 이미지 8만장 + 라벨링데이터(2D Segmentation)
      - 라이다 PCD + 라벨링데이터(3D Cuboid)
      - GNSS/INS 데이터(시간 동기화)
      - 이미지 캡션 1만개

    데이터 구축 규모
    구분 취득센서 수집
    (시간)
    정제
    (장)
    가공
    (장)
    데이터
    가공유형
    수량 데이터셋 (8:1:1 비율)
    Training Validation Test
    카메라 RGB 카메라 220 80,000 80,000 2D Segmentation 80,000 64,000 8,000 8,000
    LiDAR 열화상카메라 220 80,000 80,000 2D Segmentation 80,000 64,000 8,000 8,000
    LiDAR 회전형라이다 220 80,000 80,000 3D Cuboid 80,000 64,000 8,000 8,000
    차량
    정보
    GNSS/INS
    (관성항법)
    220 80,000 80,000 - 80,000 64,000 8,000 8,000
    운행로그 220 80,000 80,000 - 80,000 64,000 8,000 8,000
    합계(Set) 220 80,000 80,000   80,000 64,000 8,000 8,000

     

    - 데이터 분포
      - 날씨 분포 : 일반(23%), 강수(37%), 안개(30%) 강설(10%)
      - 주야간 분포 : 주간(68%), 야간 (32%)

    데이터 분포
    구분 내용 취득비율
    주간 (68%) 야간 (32%)
    06:00~18:00 18:00~06:00
    날씨
    (100%)
    일반(23%) 5% 18%
    강수(37%) 30% 7%
    안개(30%) 25% 5%
    강설(10%) 8% 2%

     

    - 클래스 분포

    RGB, 열화상 데이터 유효성 모델 평가 클래스 구성비

    데이터 통계
    No. class name ratio
    1 vegetation 7.55%
    2 car 21.57%
    3 truck 3.34%
    4 sky 4.05%
    5 traffic sign 5.77%
    6 guard rail 6.94%
    7 ground 1.90%
    8 pole 5.33%
    9 road 4.16%
    10 building 4.50%
    11 static 22.55%
    12 dynamic 1.16%
    13 bus 1.12%
    14 traffic light 2.51%
    15 terrain 0.92%
    16 fence 0.94%
    17 wall 1.24%
    18 tunnel 0.16%
    19 person 0.80%
    20 sidewalk 2.41%
    21 bicycle 0.03%
    22 bridge 0.60%
    23 motorcycle 0.20%
    24 rider 0.15%
    25 parking 0.04%
    26 trailer 0.05%

     

    라이다 데이터 유효성 모델 평가 클래스 구성비

    라이다 데이터 유효성 모델 평가 클래스 구성비
    No. class name ratio
    1 bus 2.55%
    2 car 82.40%
    3 dynamic 0.99%
    4 on rails 0.00%
    5 person 3.21%
    6 rider 1.03%
    7 trailer 0.01%
    8 truck 9.80%
  • 저작도구 설명서 및 저작도구 다운로드

    저작도구 설명서 다운로드 저작도구 다운로드
  • AI 모델 상세 설명서 다운로드

    AI 모델 상세 설명서 다운로드 AI 모델 다운로드

    - R-CNN 기반 전측방 라이다를 3D 객체 검출 모델
    ㅇ 개발 방안

      - 인접 차량 검출을 위한 인공지능 모델 활용과 이동체 검출을 위한 포인트 처리 기반 방법 활용
      - 본 사업에서 취득된 128채널 라이다 센서 데이터만을 이용하여 차량 검출 모델 개발
      - RCNN 기반 모델 설계를 통한 인접 차량 검출

    R-CNN 기반 모델 구성도

    < R-CNN 기반 모델 구성도 >

    ㅇ 서비스 활용 시나리오
    - 전측방 라이다 센서 데이터를 이용한 인접 차량 (30m 이내) 검출 Network 학습
    - Inferencing을 통해 Validation 진행
    - 성능 지표 도출
    ㅇ 기대효과
      - 문턱치가 높은 라이다 인지 시스템의 적용을 통해 자율주행 적용을 용이하게 함.
      - ADAS 및 자율주행 시스템 연동을 통해 능동형 안전 기술 개발에 활용 가능
      - 저사양 라이다의 인지 성능 개발을 위한 방안 제시

     

    - 2D 열화상 이미지 Segmentation 모델
    ㅇ 개발 방안

      - 2D segmentation을 위한 Mask R-CNN 모듈 개발
      - 본 사업에서 취득된 전방 열화상 카메라 데이터를 이용하여 segmentation 모델 개발

    Mask R-CNN 모델 구조

    < Mask R-CNN 모델 >

    ㅇ 서비스 활용 시나리오
      - 전방 카메라를 통해 가공된 segmentation 데이터를 이용한 Network 학습
      - 다양한 시나리오 적용에 따른 segmentation 모델 개선
      - Inferencing을 통해 Validation 진행
      - 성능 지표 도출
    ㅇ 기대효과
      - 국내 환경에 맞는 자율주행 적용을 용이하게 함
      - ADAS 및 자율주행 시스템 연동을 통해 능동형 안전 기술 개발에 활용 가능
      - 국내 환경에 맞는 열화상 Segmentation 모델 개발

     

    - 2D RGB 이미지 Panoptic Segmentation 모델
    ㅇ 개발 방안

      - Panoptic segmentation을 위한 출력 로직을 통합한 panoptic 융합 모듈 개발
      - 전방 RGB 카메라 데이터를 이용하여 Panoptic segmentation 모델 개발
      - Instance 로직과 Semantic 로직을 융합한 panoptic 융합 로직 모듈 개발

    FPN 기반 융합 네트워크 모델

    < FPN 기반 융합 네트워크 모델 >

    ㅇ 서비스 활용 시나리오
      - 전방 카메라를 통해 가공된 Semantic segmentation, Instance segmentation 데이터를 이용한 Panoptic segmentation Network 학습
      - 다양한 시나리오 적용에 따른 Panoptic segmentation 모델 개선
      - Inferencing을 통해 Validation 진행
      - 성능 지표 도출
    ㅇ 기대효과
      - 국내 자율주행 환경에 맞는 자율주행 적용을 용이하게 함.
      - ADAS 및 자율주행 시스템 연동을 통해 능동형 안전 기술 개발에 활용 가능
      - 국내 환경에 맞는 Panoptic Segmentation 모델 개발

  • 설명서 및 활용가이드 다운로드

    데이터 설명서 다운로드 구축활용가이드 다운로드

    - 데이터 개요

    데이터 개요
    임무 정의  열화상 카메라 및 융합 센서를 활용한 자율주행 데이터 수집 및 주행환경에 포착된 동적, 정적 객체 정보 데이터를 220시간 이상 취득하고, 열화상 카메라를 포함한 멀티모달 센서에서 취득된 이미지 + 라벨링데이터셋 8만장을 구축하여 자율주행 동적, 정적 객체 인식도 향상
    구축 공정 데이터 획득/수집 데이터 정제 데이터 가공 데이터 검사
    데이터 구분 원시데이터 원천데이터 라벨링데이터 검사 후 데이터
    데이터 형태 1.동영상(10Hz) 220시간
    (디지털 파일)
    1. 동영상→ 스틸 컷 8만장
    (디지털 파일→ 디지털 파일)
    1.센서별 스틸컷 8만장 라벨링 1. 전체 동영상
    2.GNSS/INS, 운행로그 등 텍스트 디지털 파일 2.1번→가공대상 원천이미지 클립단위 정제 -RGB: 2D Segmentation 2. 센서별 스틸컷 8만장 라벨링
      3.원천이미지와 매칭되는 텍스트 데이터 정체 -열화상: 2D Segmentation -RGB: 2D Segmentation
        -Lidar 3D Cuboid -열화상: 2D Segmentation
        2.이미지 캡션(텍스트 입력) -Lidar 3D Cuboid
        - 10,000개  
    데이터 포맷 1. 영상: MP4 1. 영상 : MP4 1. 영상 : MP4 1. 영상 : MP4
    2. 텍스트: JSON 2. 텍스트: JSON (캡션포함) 2. 텍스트: JSON 2. 텍스트: JSON
    3. 이미지: JPG 3. 4. 이미지: JPG(컬러) 3. 4. 이미지: JPG(컬러) 3. 이미지: JPG(컬러) 
    *데이터 포맷 : MP4파일 *이미지 규격 상세:JPG  *이미지 규격 상세 : JPG  *이미지 규격 상세 : JPG
    -RGB 해상도(1920*1200) 640x480(RGB) 640x480(RGB) 640x480(RGB)
    -열화상 해상도(640*480) 640x480(열화상) 공통영역 640x480(열화상) 공통영역 640x480(열화상) 공통영역
    - PCD 점 군 (3,456,000points) *라이다 점군 : 3,456,000points *라이다 점군 : 3,456,000points  

    - 어노테이션 포맷
    1) 열화상 이미지

    어노테이션 포맷
    구분 속성명 타입 필수여부 설명 범위 비고
    1 imagePath String Y 이미지파일명 [SAW]_[ND][FCRSM][HUCOS]_[0-9]{4}_LF_[0-9]{3}.jpg 예) "S_DCH_0097_LF_000.jpg",,
    2 imageData String N - “null” 예)
    “null” 
    3 imageHeight Number Y 이미지 세로 크기(픽셀) “480” 예)
    “480”
    4 imageWidth Number Y 이미지 가로 크기(픽셀) “640“ 예)
    “640“
    3 3-1 shapes.label String Y 클래스 이름 “bicycle, car, person...”  
    3-2 shapes.points String Y 이미지 어노테이션 좌표 {x=[0:640], y=[0:480]} 예)
    "points": [[612,226],[609,230], ...]],
    3-3 shapes.group_id Number N - “null“ 예)
    “null” 
    3-4 shapes.shape_type Number Y 가공 형태 “polygon” 예)
    “polygon”
    3-5 shapes.flags String N - “null“  

     

    2) RGB 이미지

    RGB 이미지<
    구분 속성명 타입 필수여부 설명 범위 비고
    1 imagePath String Y 이미지파일명 [SAW]_[ND][FCRSM][HUCOS]_[0-9]{4}_FC_[0-9]{3}.jpg 예) "S_DCH_0097_FC_000.jpg",,
    2 imageData String N - “null” 예)
    “null” 
    3 imageHeight Number Y 이미지 세로 크기(픽셀) “480” 예)
    “480”
    4 imageWidth Number Y 이미지 가로 크기(픽셀) “640“ 예)
    “640“
    5 5-1 shapes.label String Y 클래스 이름 “bicycle, car, person...”  
    5-2 shapes.points String Y 이미지 어노테이션 좌표 {x=[0:640], 예)
    "points": [[612,226],[609,230], ...]],
    5-3 shapes.group_id Number N - “null“ 예)
    “null” 
    5-4 shapes.shape_type Number Y 가공 형태 “polygon” 예)
    “polygon”
    5-5 shapes.flags String N - “null“  

     

    3) 라이다 이미지

    데이터 통계
    구분 항목명 타입 필수여부 설명 범위 비고
    1 PointClouds Object   포인트클라우드 정보   별도의 Calibration Matrix 파일(.txt) 제공됨.
      1-1 PointClouds.identifier String Y 포인트클라우드 식별자
    (파일명)
       
    1-2 PointClouds.type String Y 포인트클라우드 파일 확장자   예) pcd
    1-3 PointClouds.data_captured String Y 포인트클라우드 쵤영날짜 및 시간 "YYYY-MM-DD HH:mm:ss"  
    1-4 PointClouds.weather String Y 포인트클라우드 날씨 "Fine","Cloudy","Rainy","Snowy","Mist"  
    1-5 PointClouds.road_type String Y 포인트클라우드 도로 유형    
    1-6 PointClouds.frame_num Number Y 포인트클라우드 프레임 순서    
    1-7 PointClouds.num_object Number Y 포인트클라우드 데이터 당 객체 수    
    2 annotations Object   라벨링정보    
      2-1 3dbbox.id Number Y 3D 바운딩박스 식별자    
    2-2 3dbbox.category String Y 3D 바운딩박스 내 객체 유형 [car, truck, bus, on rails, caravan, trailer, person, rider, dynamic]   
    2-3 3dbbox.location List Y 3D 바운딩박스 중앙점 좌표 [x, y, z]  
    2-4 3dbbox.dimension List Y 3D 바운딩박스 크기 정보 [length, height, width]  
    2-5 3dbbox.distance Number Y 3D바운딩박스 중앙점까지의 거리(m)    
    2-6 3dbbox.rotation_y Number Y 3D 바운딩박스 헤딩각도 정보    
    2-7 3dbbox.type String Y 3D 바운딩박스 타입 정보 “동적”, “정적”  

     

    - 라벨링데이터 예시
    1) 열화상 이미지

    열화상 이미지
    - 원천 데이터 - 라벨링 데이터

    열화상 이미지 1

     

    열화상 이미지 2

    열화상 라벨링데이터

     

    2) RGB 이미지

    RGB 이미지
    - 원천 데이터 - 라벨링 데이터

    RGB 이미지 1

     

    RGB 이미지 2

    RGB 라벨링데이터
    이미지 캡션
    안개가 낀 야간에 자동차가 우측에 나무가 보이는 도로의 4차로를 주행 중이다.

     

    3) 라이다 이미지

    라이다 이미지
    - 원천 데이터 - 라벨링 데이터

    라이다 이미지 1

     

    라이다 이미지 2

    라이다 라벨링 데이터
  • 데이터셋 구축 담당자

    수행기관(주관) : ㈜에이뉴트
    수행기관(주관)
    책임자명 전화번호 대표이메일 담당업무
    임정규 매니저 02-6225-2095 jg.doxb@gmail.com 이미지 데이터 가공 및 검사
    수행기관(참여)
    수행기관(참여)
    기관명 담당업무
    ㈜데이터메이커 라이다 데이터 가공 및 검사
    ㈜모빌테크 자율주행차 데이터 수집
    데이터 관련 문의처
    데이터 관련 문의처
    담당자명 전화번호 이메일
    박상현 02-6225-2095 shpark401@gmail.com
    임정규 02-6225-2095 jg.doxb@gmail.com
    AI모델 관련 문의처
    AI모델 관련 문의처
    담당자명 전화번호 이메일
    박상현 02-6225-2095 shpark401@gmail.com
    임정규 02-6225-2095 jg.doxb@gmail.com
    저작도구 관련 문의처
    저작도구 관련 문의처
    담당자명 전화번호 이메일
    임정규 02-6225-2095 jg.doxb@gmail.com
    이도영 042-822-7139 doyeong.lee@datamaker.io
보건의료 데이터 개방 안내

보건의료 데이터는 온라인 및 오프라인 안심존을 통해 개방됩니다.

안심존이란 안심존 이용메뉴얼 안심존 이용신청
  • 인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
    * 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
    * 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석

    1. AI 허브 접속
      신청자
    2. 안심존
      사용신청
      신청자신청서류 제출*
    3. 심사구축기관
    4. 승인구축기관
    5. 데이터 분석 활용신청자
    6. 분석모델반출신청자
  • 1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
    2. 기관생명윤리위원회(IRB) 승인된 연구계획서
    3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
    4. 안심존 이용 신청서 [다운로드]
    5. 보안서약서 [다운로드]
    ※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다.

  • 신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의

데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.

API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.

리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.

※ 파일 병합 리눅스 명령어

find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"

- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.

- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.

※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.