AI-Hub

○ 임무 정의
  - 이미지 기반으로 신재생에너지 발전 설비의 결함을 자동 탐지, 분류 및 결함 관련 질의응답을 수행하여 이미지에서 결함의 위치를 추정하고 설비 부위 결함 특성 조치 권고 등과 관련된 질문에 대해서 자연어 응답을 생성하여 현장 진단 및 유지보수 의사결정을 지원함, 

○ 임무 선정 사유
  - 구축한 객체 결함 이미지-텍스트 쌍 학습 데이터를 인공지능 모델을 통해 학습하고 한글 및 영문 텍스트 입력을 통해 객체 결함이 있는 신규 이미지 결과가 올바르게 생성되는지를 확인하여 구축 데이터에 대한 유효성을 검증

○ 학습 모델 개발 환경
  - 학습 환경: Ubuntu, Python, Pytorch, GPU
  - 모델리소스 및 자원 활용: 고성능 GPU 서버를 사용하여 모델 학습을 진행
  - 모델 개발: 1-Cycle 자가 점검 계획에 맞춰 모델 개발
  - 성능 지표 결과를 통해 가장 성능이 우수한 모델로 최종 선정

○ 최종 선정 모델
  - SegFromer (mit-b2)
   * Transformer 기반 Semantic Segmentation 모델로, 계층형 Transformer 인코더와 경량 디코더 헤드를 결합한 구조 
   * CNN 기반 모델 대비 다양한 해상도와 객체 크기에 대해 일관된 성능을 유지하며 결함 영역과 같이 형태, 크기 변동성이 큰 객체를 정밀하게 분석하는 데 적합

Segformer(mit-b2)모델 아키텍처

  - Qwen2.5-VL-3B-Instruct
   * Qwen 계열의 Vision-Language(멀티모달) 모델로 시각 정보에 대한 의미 해석과 언어 기반 질의응답을 동시에 수행 가능 
   * 고해상도 장문 멀티모달 이해를 바탕으로, 복잡한 시각 언어에 강점을 갖춘 VLM이며, 8k 고해상도 데이터를 분석하는데 적합

Qwen2.5-VL 모델 아키텍처 

○ 학습 데이터 생성
  - Train:Validation:Test를 약 8:1:1비율로 분할
  - 훈련 데이터 80,515장 검증용 데이터 10,060장 테스트용 데이터 10,040장으로 분배
 

○ AI 모델 성능

○ 라벨링데이터(객체 폴리곤 라벨링) 포맷

○ json 예시(객체 및 문양 이미지 캡셔닝)
{
  "info": {
    "db_name": "PositiveDB",
    "generator_name": "풍력",
    "model_name": "Vestas-V80",
    "part_tag": "Blade A",
    "part_side_tag": "Leading Edge",
    "installation": "알수없음",
    "license": "(주)어드바이저로렌"
  },
  "categories": [
    {
      "id": 1,
      "name": "Contamination",
      "supercategory": "풍력 외부"
    },
    {
      "id": 2,
      "name": "Tape Damage",
      "supercategory": "풍력 외부"
    },
    {
      "id": 3,
      "name": "Paint Damage",
      "supercategory": "풍력 외부"
    },
    {
      "id": 4,
      "name": "La Exposure",
      "supercategory": "풍력 내부"
    },
    {
      "id": 5,
      "name": "La Damage",
      "supercategory": "풍력 내부"
    },
    {
      "id": 6,
      "name": "Bond Crack",
      "supercategory": "풍력 내부"
    },
    {
      "id": 7,
      "name": "Receptor Damage",
      "supercategory": "풍력 부착물"
    },
    {
      "id": 8,
      "name": "Rain Collar",
      "supercategory": "풍력 부착물"
    },
    {
      "id": 9,
      "name": "Vortex Generator",
      "supercategory": "풍력 부착물"
    }
  ],
  "image": {
    "id": 194,
    "width": 8256,
    "height": 5504,
    "filename": "2022_Sungsan_3_A_LeadingEdge_045.jpg"
  },
  "collection": {
    "location": "Sungsan",
    "datetime": "2022-04-06 11:06:59",
    "device": "NIKON Z 7",
    "resolution": "FX",
    "license": "(주)보다"
  },
  "annotations": [
    {
      "id": 194001,
      "image_id": 194,
      "category_id": 4,
      "segmentation": [
        4546.1,
        5504.0,
        4469.6,
        5504.0,
        4383.5,
        2622.1,
        4414.9,
        2785.8
      ],
      "area": 142324.0,
      "bbox": [
        4383.5,
        2622.1,
        162.6,
        2881.9
      ],
      "severity": 3
    },
    {
      "id": 194002,
      "image_id": 194,
      "category_id": 4,
      "segmentation": [
        4353.3,
        2441.5,
        4365.1,
        5504.0,
        4449.6,
        5504.0,
        4373.1,
        2462.0
      ],
      "area": 158560.0,
      "bbox": [
        4353.3,
        2441.5,
        96.3,
        3062.5
      ],
      "severity": 3
    },
    {
      "id": 194003,
      "image_id": 194,
      "category_id": 3,
      "segmentation": [
        4234.0,
        0.0,
        4356.4,
        3616.3,
        4317.0,
        3635.0,
        4313.5,
        4565.1,
        4316.6,
        4888.8,
        4332.5,
        5504.0,
        4539.68,
        5504.0,
        4523.8,
        4667.1,
        4485.13,
        3539.03,
        4469.5,
        3337.51,
        4352.5,
        0.0
      ],
      "area": 813548.0,
      "bbox": [
        4234.0,
        0.0,
        305.68,
        5504.0
      ],
      "severity": 2
    }
  ],
  "visionqa": {
    "object_description": "이 이미지는 풍력발전기 블레이드의 LE(Leading Edge) 부분을 중심으로 보여주고 있습니다. 전체적으로 블레이드의 상태를 확인해 보면, 평소보다 다소 거친 외관을 가지고 있으며, 표면은 일부가 변색되었고 거친 질감을 나타냅니다. 이는 바람과 비에 노출되어 페인트가 마모되고, 표면 상태가 거칠어질 수 있는 일반적인 현상과 일치합니다.\n\n주된 결함으로 관찰되는 것은 '라미네이트 노출'로, 이는 블레이드의 보호 페인트가 사라지면서 내부 라미네이트가 드러난 상황을 가리킵니다. 사진에서는 라미네이트가 눈에 띄는 섬유질 구조로 보이며, 이는 관련 결함의 원인에 대한 설명과 부합합니다. 라미네이트 노출은 블레이드의 장기적인 성능 및 내구성에 영향을 미칠 수 있으며, 향후 진행되어 더 큰 구조적 결함으로 발전할 수 있는 가능성을 가지고 있습니다. 노출된 라미네이트는 마모나 외부 충격에 더욱 취약할 수 있어 즉각적인 수리가 요구될 수 있습니다.\n\n결함의 위치는 블레이드의 LE(Leading Edge) 중앙 부분에 크게 집중되어 있으며, 이러한 중앙 부위는 블레이드 전체 중 바람에 가장 많이 노출되어 있는 부분으로, 특히 마모에 의해 라미네이트 노출이 쉽게 발생할 수 있습니다. 현재까지의 결함은 라미네이트 자체에 큰 손상이 없는 상태에서 노출만 진행된 정도로 판단되며, 심각도는 3으로 블레이드 운영에 있어 중요한 점검 및 조치가 필요합니다.\n\n전체적인 구조적 측면에서 라미네이트가 손상되진 않았으나, 페인트 손상으로 인해 차후에 이 결함이 심화될 가능성이 존재합니다. 따라서 구조적 안전성 및 블레이드의 수명에 영향을 미칠 수 있으므로 추가적인 점검과 예방 조치가 권장됩니다.",
    "defect_detection_q": "이 풍력 터빈 블레이드에 결함이 있습니까?",
    "defect_detection_option": {
      "detection_option_a": "예",
      "detection_option_b": "아니오"
    },
    "defect_detection_a": "a",
    "defect_localization_q": "결함은 어디에 위치합니까? (여러 결함이 존재한다면, 가장 심각도가 높은 결함을 고르시오. 심각도가 같은 결함이 여러 개라면 면적이 가장 큰 것을 고르시오) (COCO format: [x, y, width, height], Image size: 1920x1080)",
    "defect_localization_option": {
      "localization_option_a": "[916,0,67,1080]",
      "localization_option_b": "[397,191,487,479]",
      "localization_option_c": "[1374,121,410,397]",
      "localization_option_d": "[1222,409,698,423]"
    },
    "defect_localization_a": "a",
    "defect_analysis_q": "이 결함의 주요 시각적 특징은 무엇입니까? (여러 결함이 존재한다면, 가장 심각도가 높은 결함을 고르시오. 심각도가 같은 결함이 여러 개라면 면적이 가장 큰 것을 고르시오)",
    "defect_analysis_option": {
      "analysis_option_a": "섬유질만 보임, 손상 없음",
      "analysis_option_b": "와류 발생기 손상",
      "analysis_option_c": "방향성 있는 검은 얼룩",
      "analysis_option_d": "레인카라가 들리거나 분리됨"
    },
    "defect_analysis_a": "a",
    "defect_classification_q": "결함 유형은 무엇입니까? (여러 결함이 존재한다면, 가장 심각도가 높은 결함을 고르시오. 심각도가 같은 결함이 여러 개라면 면적이 가장 큰 것을 고르시오)",
    "defect_classification_option": {
      "classification_option_a": "Rain Collar",
      "classification_option_b": "La Exposure",
      "classification_option_c": "Bond Crack",
      "classification_option_d": "Vortex Generator"
    },
    "defect_classification_a": "b",
    "cropped_bbox": [
      3441,
      3432,
      1920,
      1080
    ]
  }
}