콘텐츠로 건너뛰기 메뉴로 건너뛰기 푸터로 건너뛰기
데이터를 불러오고 있습니다
데이터를 저장하고 있습니다
#노이즈 라이다 # 노이즈 라이다 # 디노이즈 기술 # # 128ch 라이다 # 동기화

NEW 악천후 환경에서의 라이다 점 군 데이터 개선을 위한 Denoising 데이터

악천후 환경에서의 라이다 점 군 데이터 개선을 위한 Denoising 데이터 아이콘 이미지
  • 분야교통물류
  • 유형 이미지
구축년도 : 2022 갱신년월 : 2023-11 조회수 : 2,677 다운로드 : 8 용량 :
샘플 데이터 ?

샘플데이터는 데이터의 이해를 돕기 위해 별도로 가공하여 제공하는 정보로써 원본 데이터와 차이가 있을 수 있으며,
데이터에 따라서 민감한 정보는 일부 마스킹(*) 처리가 되어 있을 수 있습니다.

※ 내국인만 데이터 신청이 가능합니다.

  • 데이터 변경이력

    데이터 변경이력
    버전 일자 변경내용 비고
    1.1 2023-11-21 데이터 최종 개방
    1.0 2023-07-31 데이터 개방(Beta Version)

    데이터 히스토리

    데이터 히스토리
    일자 변경내용 비고
    2023-12-27 산출물 전체 공개

    소개

    인공지능 학습용 데이터에 기반한 De_noising 기술은 다양한 악천후 환경에서도 신호 산란에 의한 잡음과 이상치를 강건하게 제거함으로써, 신뢰도 높은 라이다 데이터를 제공함

    구축목적

    기존 자율주행을 위한 딥러닝 학습데이터는 다양한 환경 조건에 대한 정확한 기준 없이 제공되어 미세먼지 등 악천후 환경(비, 안개 등)의 환경 변수를 가지고 있는 조건에서 사용하기에는 한계점이 있다. 실차 기반 인공지능 학습용 데이터 획득 및 객체 추출 알고리즘 최적화를 통한 다양한 운전 환경을 기반으로 양질의 학습데이터 확보가 필요함
  • 1. 데이터 구축 규모
    1) 원천데이터

    센서종류 유형 포맷 해상도 규모(파일수)
    노이즈 LiDAR 포인트클라우드 pcd 128CH 50,000장
    디노이즈 LiDAR 128CH 50,000장

     

    2) 라벨링 데이터

    데이터 종류 유형 포맷 해상도 규모(파일수)
    노이즈 LiDAR 라벨링 데이터 3D 객체 검출정보 데이터 json 128CH 50,000장
    디노이즈 LiDAR 라벨링 데이터 128CH 50,000장

     

    3) 참조데이터

    센서종류 유형 포맷 해상도 규모(파일수)
    Camera 정지영상(이미지) - 전 png 1920 X 1080 50,000장
    정지영상(이미지) - 후 png 1920 X 1080 50,000장
    정지영상(이미지) - 좌 png 1920 X 1080 50,000장
    정지영상(이미지) - 우 png 1920 X 1080 50,000장
    GPS 텍스트 CSV   50,000장
    반사강도 reflec png   50,000장
    de_reflec png   50,000장
    정합 데이터 라이다-이미지 센서 캘리브레이션 정보 txt   3장

     

    2. 데이터분포
    1) Training

    구분 1차 경로 2차경로 파일포맷 제출수량 합계
    원천데이터 수집차량_3 lidar_D pcd 9,285 80,228
    lidar_N pcd 9,285
    수집차량_4 lidar_D pcd 8,430
    lidar_N pcd 8,430
    수집차량_5 lidar_D pcd 22,399
    lidar_N pcd 22,399
    라벨링데이터 수집차량_3 json_D json 9,285 80,228
    json_N json 9,285
    수집차량_4 json_D json 8,430
    json_N json 8,430
    수집차량_5 json_D json 22,399
    json_N json 22,399

     

    2) Validation

    구분 1차 경로 2차경로 파일포맷 제출수량 합계
    원천데이터 수집차량_3 lidar_D pcd 1,160 9,772
    lidar_N pcd 1,160
    수집차량_4 lidar_D pcd 936
    lidar_N pcd 936
    수집차량_5 lidar_D pcd 2,790
    lidar_N pcd 2,790
    라벨링데이터 수집차량_3 json_D json 1,160 9,772
    json_N json 1,160
    수집차량_4 json_D json 936
    json_N json 936
    수집차량_5 json_D json 2,790
    json_N json 2,790

     

    3) Test

    구분 1차 경로 2차경로 파일포맷 제출수량 합계
    원천데이터 수집차량_3 lidar_D pcd 1,160 10,000
    lidar_N pcd 1,160
    수집차량_4 lidar_D pcd 1,040
    lidar_N pcd 1,040
    수집차량_5 lidar_D pcd 2,800
    lidar_N pcd 2,800
     
    라벨링데이터 수집차량_3 json_D json 1,160 10,000
    json_N json 1,160
    수집차량_4 json_D json 1,040
    json_N json 1,040
    수집차량_5 json_D json 2,800
    json_N json 2,800

     

    4) Other (참조데이터)

    분류  1차 경로 2차경로 파일포맷 제출 수량 합계
    Training 수집차량_3 de_reflec png 9,285 300,891
    gps csv 9,285
    image_B png 9,285
    image_F png 9,285
    image_L png 9,285
    image_R png 9,285
    lidar-image_calib txt 1
    reflec png 9,285
    수집차량_4 de_reflec png 8.43
    gps csv 12,448
    image_B png 12,448
    image_F png 12,448
    image_L png 12,448
    image_R png 12,448
    lidar-image_calib txt 1
    reflec png 8,430
    수집차량_5 de_reflec png 22,399
    gps csv 22,399
    image_B png 22,399
    image_F png 22,399
    image_L png 22,399
    image_R png 22,399
    lidar-image_calib txt 1
    reflec png 22,399
    Validation 수집차량_3 de_reflec png 1,160 38,885
    gps csv 1,160
    image_B png 1,160
    image_F png 1,160
    image_L png 1,160
    image_R png 1,160
    lidar-image_calib txt 1
    reflec png 1,160
    수집차량_4 de_reflec png 936
    gps csv 1,872
    image_B png 1,872
    image_F png 1,872
    image_L png 1,872
    image_R png 1,872
    lidar-image_calib txt 1
    reflec png 936
    수집차량_5 de_reflec png 2,790
    gps csv 2,790
    image_B png 2,790
    image_F png 2,790
    image_L png 2,790
    image_R png 2,790
    lidar-image_calib txt 1
    reflec png 2,790
    Test 수집차량_3 de_reflec png 1,160 35,233
    gps csv 1,160
    image_B png 1,160
    image_F png 1,160
    image_L png 1,160
    image_R png 1,160
    lidar-image_calib txt 1
    reflec png 1,160
    수집차량_4 de_reflec png 1,040
    gps csv 1,086
    image_B png 1,086
    image_F png 1,086
    image_L png 1,086
    image_R png 1,086
    lidar-image_calib txt 1
    reflec png 1,040
    수집차량_5 de_reflec png 2,800
    gps csv 2,800
    image_B png 2,800
    image_F png 2,800
    image_L png 2,800
    image_R png 2,800
    lidar-image_calib txt 1
    reflec png 2,800

     

    5) 가공 객체 수량

    노이즈 라이다 라벨링 데이터   노이즈 라이다 라벨링 데이터
    분류 클래스 객체수   분류 클래스 객체수
    동적객체 Vehicle 363,508   동적객체 Vehicle 365,608
    Pedestrian 10,125   Pedestrian 11,831
    정적객체 Structure 9,035   정적객체 Structure 9,035
    Fog 12,572   Fog  
    Rain 32,404   Rain  
    Dust 5,006   Dust  
    합계 432,650
     
      합계 386,474
     
  • 저작도구 설명서 및 저작도구 다운로드

    저작도구 설명서 다운로드 저작도구 다운로드
  • AI 모델 상세 설명서 다운로드

    AI 모델 상세 설명서 다운로드 AI 모델 다운로드

    1. 3D AI 활용 모델 설명

    개발 언어 Python 3.8.8
    프레임워크 CUDA V11.1.105
    Pytorch 1.8.0
     
    학습 알고리즘

    SPVConv(Sparse Point-Voxel Convolution)
    고해상도 포인트 클라우드 데이터의 고유한 속성을 유지하면서 제한된 하드웨어 리소스에서 어려웠던 여러 개의 작은 개체의 성능을 향상시키는 경량 3D 모듈인 SPVConv 구성된 새로운 네트워크

    학습 알고리즘 SPVConv(Sparse Point-Voxel Convolution) 이미지

    학습 조건 epoch 15
    batch 2
    optimizer = SGD
    loss = Cross Entropy,
    lr_scheduler = cosine_schedule_with_warmup
     
    파일 형식 • 원천 데이터: PCD
    • 라벨링 데이터: JSON
    모델 학습 과정별
    데이터 분류 및 비율 정보

     

    Velodyne Ouster
    수량 비율 수량 비율
    Training 20,508장 73.27% 17,714장 80.48%
    Validation 3,572장 12.76% 2,059장 9.35%
    Test 3,909장 13.97% 2,238장 10.17%

     

     

    서비스 활용 시나리오
    1.  고수준 자율주행 가속화를 위해 악천 후 환경에서도 강인한 라이다 인지 시스템 개발에 기여
    2. 이상적인 환경에서 구축된 데이터들과 달리 본 데이터는 다양한 환경의 라이다 데이터셋 구축을 통해 라이다 양산에 필요한 소프트웨어 기초 연구 자원 마련에 기여
    3. Point-wise 노이즈 분석이 가능한 데이터셋을 통해 양질의 국내 연구 지원에 활용될 수 있을 것으로 기대

     

    서비스 활용 예시

    서비스 활용 예시 이미지 (안개에 따른 신호 산란에 의한 데이터 손실 및 이상치 발생)
    안개에 따른 신호 산란에 의한 데이터 손실 및 이상치 발생
  • 데이터 성능 점수

    측정값 (%)
    기준값 (%)

    데이터 성능 지표

    데이터 성능 지표
    번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수
    1 3D 시멘틱 세그멘테이션 객체 탐지 성능 (노이즈 데이터) 3D Object Detection SPVConv mIoU 30 % 72.54 %
    2 3D 시멘틱 세그멘테이션 객체 탐지 성능 (디노이즈 데이터) 3D Object Detection SPVConv mIoU 18 % 76.75 %
    3 Lidar Denoising 탐지 성능 Object Detection SPVConv mIoU 80 % 80.63 %

    ※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.

    ※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)

  • 설명서 및 활용가이드 다운로드

    데이터 설명서 다운로드 구축활용가이드 다운로드

    1. 데이터 구성
    1) 클래스종류

    분류 클래스 클래스ID 설명
    동적객체 Vehicle 20 승용차, SUV, 버스, 트럭 등 모든 차량 
    Pedestrian 30 무동력으로 움직일 수 있는 자전거 일체
    엔진 동력으로 움직일 수 있는 모터사이클 일체, 전동휠 등
    정적객체 Structure 52 도로, 인도, 횡단보도 등의 공간에 위치한 사람 일체
    Fog 100 육교, 다리, 터널, 톨게이트 등 도로 상에 위치한 구조물
    Rain 101 안개
    Dust 103 강우

     

    2) 도로유형별 분류

    도로유형
    도심로
    자동차전용도로

     

    3) 도로형태별 분류

    도심로
    도로형태 코드번호 도로상황
    단일로 A01 버스/트럭 정지
    A02 측방 이륜차
    A03 측방 이륜차 컷인
    A04 전방이륜차 추종
    A05 도로내 평행이동 보행자
    A06 차로 변경, 전방 대항차량
    A07 직선/곡선로 대항차량
    A08 직선/곡선로 대항이륜차
    A16 전방차량 추종
    교차로 A09 교차로 대항차량 합류
    A11 교차로 이륜차 합류
    A14 교차로 보행자 도로횡단

     

    자동차전용도로
    도로형태 코드번호 도로상황
    단일로 B01 본선 주행 일반 (*40KPH 초과)
    B03 교차로
    B04 휴게소/졸음쉼터
    B05 톨게이트 입/출입
    B06 JC / IC주행

     

    테스트베드
    형태 코드 도로상황
    테스트베드 T 테스트베드에서 노이즈 상황 
    TD 테스트베드에서 디노이즈 상황

     

    4) 날씨 / 시간대 분류

    날씨유형 코드   시간대 유형 코드
    강우 rain   일출/일몰 sunrise/sunset
    안개 fog   출근 mrh
    먼지 dust   주간 day
          퇴근 erh
          야간 night

     

    5) 폴더구조

    1.Training 원천데이터 수집차량_3 lidar_D
    lidar_N
    수집차량_4 lidar_D
    lidar_N
    수집차량_5 lidar_D
    lidar_N
    라벨링데이터 수집차량_3 json_D
    json_N
    수집차량_4 json_D
    json_N
    수집차량_5 json_D
    json_N
    2.Validation 원천데이터 수집차량_3 lidar_D
    lidar_N
    수집차량_4 lidar_D
    lidar_N
    수집차량_5 lidar_D
    lidar_N
    라벨링데이터 수집차량_3 json_D
    json_N
    수집차량_4 json_D
    json_N
    수집차량_5 json_D
    json_N
    3.Test 원천데이터 수집차량_3 lidar_D
    lidar_N
    수집차량_4 lidar_D
    lidar_N
    수집차량_5 lidar_D
    lidar_N
    라벨링데이터 수집차량_3 json_D
    json_N
    수집차량_4 json_D
    json_N
    수집차량_5 json_D
    json_N
    5.Other Training 수집차량_3 de_reflec
    gps
    image_B
    image_F
    image_L
    image_R
    lidar-image_calib
    reflec
    수집차량_4 de_reflec
    gps
    image_B
    image_F
    image_L
    image_R
    lidar-image_calib
    reflec
    수집차량_5 de_reflec
    gps
    image_B
    image_F
    image_L
    image_R
    lidar-image_calib
    reflec
    Validation 수집차량_3 de_reflec
    gps
    image_B
    image_F
    image_L
    image_R
    lidar-image_calib
    reflec
    수집차량_4 de_reflec
    gps
    image_B
    image_F
    image_L
    image_R
    lidar-image_calib
    reflec
    수집차량_5 de_reflec
    gps
    image_B
    image_F
    image_L
    image_R
    lidar-image_calib
    reflec
    Test 수집차량_3 de_reflec
    gps
    image_B
    image_F
    image_L
    image_R
    lidar-image_calib
    reflec
    수집차량_4 de_reflec
    gps
    image_B
    image_F
    image_L
    image_R
    lidar-image_calib
    reflec
    수집차량_5 de_reflec
    gps
    image_B
    image_F
    image_L
    image_R
    lidar-image_calib
    reflec

     

    6) 파일명 구조

    파일 종류 파일 이름
    2D IMAGE 데이터 <수집기관>_<도로형태>_<도로상황>__<날씨>_<계절>_<일련번호>_<카메라위치>.png
    Annotation 데이터 <수집기관>_<도로형태>_<도로상황>_<해상도>_<날씨>_<계절>_<일련번호>.json
    3D LiDAR 데이터 <수집기관>_<도로형태>_<도로상황>_<해상도>_<날씨>_<계절>_<일련번호>.pcd

     

    2. 어노테이션 포맷

    NO 항목명 길이 타입 필수 비고
    한글명 영문명
    1   어노테이션정보 annotations       데이터 라벨링 정보
      1-1 삼차원포인트정보 3D_points   array Y 객체 영역 정보 [x y, z]
      1-2 클래스 class 16 string Y 객체의 클래스
      1-3 클래스식별자 class_ID 2 number Y 클래스 고유 번호
      1-4 거리 distance 20 number Y ego차량과 객체 간 거리
      1-5 객체식별자 id 4 number Y 객체 고유 번호
      1-6 라벨링타입 labeling_type 24 string Y 데이터 라벨링 방식
    2   수집기관 company 2 string Y 원시데이터 수집 기관
    3   파일명 pcd_filename 50 string Y 원천데이터 파일명
    4   코드정보 road 3 string Y 시나리오 코드명
    5   계절 season 6 string Y 원시데이터가 수집된 계절
    6   센서정보 sensor 4 string Y 라이다 센서 종류
    7   시간 time 7 string Y 원시데이터가 수집된 시간대
    8   날씨 weather 5 string Y 원시데이터가 수집된 날씨

     

    3. 예시

    원천데이터
    노이즈 라이다 데이터 원천데이터 예시 이미지 디노이즈 라이다 데이터 원천데이터 예시 이미지
    노이즈 라이다 데이터 디노이즈 라이다 데이터

     

    라벨링 상태 이미지
    노이즈 라이다 라벨링 데이터 예시 이미지 디노이즈 라이다 라벨링 데이터 예시 이미지
    노이즈 라이다 라벨링 데이터 디노이즈 라이다 라벨링 데이터

     

    JSON 파일
    노이즈 라이다 JSON파일 예시 이미지
    <노이즈 라이다 JSON 파일>
    디노이즈 라이다 JSON파일 예시 이미지
    <디노이즈 라이다 JSON 파일>
  • 데이터셋 구축 담당자

    수행기관(주관) : ㈜컴버스테크
    수행기관(주관)
    책임자명 전화번호 대표이메일 담당업무
    남용태 02-6299-5151 namyt@combus.co.kr 데이터 정제 / 데이터 가공 / 품질 관리 / AI 모델링 및 유효성 검증 / 외부 품질검증 대응
    수행기관(참여)
    수행기관(참여)
    기관명 담당업무
    한국자동차연구원 데이터 구조 및 시나리오 설계 / 데이터 수집
    ㈜뷰런테크놀로지 데이터 수집
    ㈜에스유엠 데이터 수집
    ㈜브레인컨테이너 데이터 가공
    데이터 관련 문의처
    데이터 관련 문의처
    담당자명 전화번호 이메일
    남용태 02-6299-5151 namyt@combus.co.kr
보건의료 데이터 개방 안내

보건의료 데이터는 온라인 및 오프라인 안심존을 통해 개방됩니다.

안심존이란 안심존 이용메뉴얼 안심존 이용신청
  • 인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
    * 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
    * 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석

    1. AI 허브 접속
      신청자
    2. 안심존
      사용신청
      신청자신청서류 제출*
    3. 심사구축기관
    4. 승인구축기관
    5. 데이터 분석 활용신청자
    6. 분석모델반출신청자
  • 1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
    2. 기관생명윤리위원회(IRB) 승인된 연구계획서
    3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
    4. 안심존 이용 신청서 [다운로드]
    5. 보안서약서 [다운로드]
    ※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다.

  • 신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의

데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.

API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.

리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.

※ 파일 병합 리눅스 명령어

find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"

- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.

- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.

※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.