AI-Hub

1. 손-글씨 OCR 인식 
○ 임무 정의
- 손-글씨 OCR 인식
ㅇ 태국어/캄보디아어 손글씨 OCR 인식(Recongnition)

○ 임무 선정 사유
- 모델의 OCR 인식 텍스트와 정답 전사(GT)를 문자 단위로 정렬해 CER (Character Error Rate)을 산출하여 인식 성능을 검증

○ 학습 모델 개발 환경
- 학습 환경: Amazon Linux, Python, Pytorch, GPU
- 모델리소스 및 자원 활용: 고성능 GPU 서버를 사용하여 모델 학습을 진행
- 모델 개발: 1-Cycle 자가 점검 계획에 맞춰 모델 개발
- 성능 지표 결과를 통해 가장 성능이 우수한 모델로 최종 선정

○ 최종 선정 모델
- Qwen3-VL-8B-Instruct
- Hugging Face 사이트로부터 다운로드 가능

[ Qwen/Qwen3-VL-8B-Instruct 모델 ]

○ 학습 데이터 생성
    - 학습 데이터 분할(8:1:1 로 분할)
       * train – 전처리 이미지, 라벨링json
       * valid – 전처리 이미지, 라벨링json
       * test - 전처리 이미지, 라벨링.json

○ AI 모델 성능

2. - 손-글씨 기반 질의응답

○ 임무 정의
- 손-글씨 기반 질의응답
ㅇ 손글씨 작성 문서 기반 질의응답
ㅇ 이미지 포함 현지어 손글씨 문서 기반 질의응답

○ 임무 선정 사유
- 평가용 테스트셋을 4지선다형(MCQA)으로 구성하고, 모델이 생성한 응답을 보기 4개와 비교해 가장 높은 유사도를 갖는 선택지를 최종 답으로 선택하여 최종 선택지의 정오 여부를 기반으로 F1-score를 산출

○ 학습 모델 개발 환경
- 학습 환경: Amazon Linux, Python, Pytorch, GPU
- 모델리소스 및 자원 활용: 고성능 GPU 서버를 사용하여 모델 학습을 진행
- 모델 개발: 1-Cycle 자가 점검 계획에 맞춰 모델 개발
- 성능 지표 결과를 통해 가장 성능이 우수한 모델로 최종 선정

○ 최종 선정 모델
- Qwen3-8B
- Hugging Face 사이트로부터 다운로드 가능

[ Qwen/Qwen3-8B 모델 ]

○ 학습 데이터 생성
- 학습 데이터 분할(8:1:1 로 분할)
       * train – 전처리 이미지, 라벨링json
       * valid – 전처리 이미지, 라벨링json
       * test - 전처리 이미지, 라벨링.json

○ AI 모델 성능

3. 손-글씨 자동번역

○ 임무 정의
- 손-글씨 자동번역
ㅇ 태국어/캄보디아어 손글씨 자동 번역(현지어 -> 한국어)

○ 임무 선정 사유
- 생성된 번역문과 정답 번역문을 문장 단위로 비교한 뒤, SentencePiece 기반 서브워드 토크나이저를 적용하여 토큰화하고, spBLEU 지표를 사용해 토큰 기반 유사도를 정량적으로 산출

○ 학습 모델 개발 환경
- 학습 환경: Amazon Linux, Python, Pytorch, GPU
- 모델리소스 및 자원 활용: 고성능 GPU 서버를 사용하여 모델 학습을 진행
- 모델 개발: 1-Cycle 자가 점검 계획에 맞춰 모델 개발
- 성능 지표 결과를 통해 가장 성능이 우수한 모델로 최종 선정

○ 최종 선정 모델
- Qwen3-8B
- Hugging Face 사이트로부터 다운로드 가능

[ Qwen/Qwen3-8B 모델 ]

○ 학습 데이터 생성
- 학습 데이터 분할(8:1:1 로 분할)
       * train – 전처리 텍스트, 라벨링json
       * valid – 전처리 텍스트, 라벨링json
       * test - 전처리 텍스트, 라벨링.json

○ AI 모델 성능

▶  데이터 구성

▶  어노테이션 포맷
 ○ 일반 라벨링 데이터(QA 제외)

 ○ QA 라벨링 데이터

▶ 데이터 포맷

▶ 실제 예시
 ○ 원시데이터 예시

 ○ 원천데이터 예시

<원천데이터 예시1_태국어>

<원천데이터 예시2_캄보디아어>

 ○ 라벨링데이터 예시(.json)

{  "basic_info": {
    "image_id": "KH_D_A1_00007.png",
    "language": "KH",
    "full_text_korean": "많은 사람들이 일상생활에서 가고 싶어하는 곳은 학교입니다. 왜냐하면 학교에서 새로운 지식을 얻고 지적 능력을 향상시킬 수 있기 때문입니다.",
    "full_text_local": "កន្លែងដែលមនុស្សច្រើនចូលចិត្តទៅក្នុងជីវិតប្រចាំថ្ងៃគឺសាលារៀន ព្រោះនៅទីនោះពួកគេអាចទទួលបានចំណេះដឹងថ្មីៗ និងបង្កើនសមត្ថភាពបញ្ញារបស់ខ្លួនបាន។",
    "subject": "실생활 장소"
  },
  "metadata": {
    "writer_info": {
      "age_group": "A1",
      "gender": "여성",
      "job_group": "학생군"
    },
    "environment_info": {
      "writing_tool": "디지털펜",
      "paper_type": "줄노트"
    },
    "source_info": {
      "collection_method": "디지털펜",
      "image_resolution": "300dpi",
      "capture_date": "2025-08-12"
    }
  },
  "annotations": {
    "bbox": {
      "sentence_text": "កន្លែងដែលមនុស្សច្រើនចូលចិត្តទៅក្នុងជីវិតប្រចាំថ្ងៃគឺសាលារៀន ព្រោះនៅទីនោះពួកគេអាចទទួលបានចំណេះដឹងថ្មីៗ និងបង្កើនសមត្ថភាពបញ្ញារបស់ខ្លួនបាន។",
      "sentence_box": [
        44.10042936960856,
        21.13645494249132,
        2346.963762702942,
        627.153121609158
      ],
      "words": [
        {
          "word_text": "កន្លែង",
          "word_box": [
            [
              56.53154048071967,
              55.32201049804687,
              305.1537627029419,
              251.11201049804686
            ]
          ]
        },
        ...
      ]
    }
  },
  "qa_set": {
    "turn_type": "multi_turn",
    "raw_data": {
      "story_local": "កន្លែងដែលមនុស្សច្រើនចូលចិត្តទៅក្នុងជីវិតប្រចាំថ្ងៃគឺសាលារៀន ព្រោះនៅទីនោះពួកគេអាចទទួលបានចំណេះដឹងថ្មីៗ និងបង្កើនសមត្ថភាពបញ្ញារបស់ខ្លួនបាន។",
      "story_korean": "많은 사람들이 일상생활에서 가고 싶어하는 곳은 학교입니다. 왜냐하면 학교에서 새로운 지식을 얻고 지적 능력을 향상시킬 수 있기 때문입니다."
    },
    "first_turn": {
      "turn_id": 1,
      "questions": {
        "input_text": "មនុស្សច្រើនចូលចិត្តទៅកន្លែងណា?",
        "input_text_korean": "많은 사람들이 가고 싶어하는 곳은 어디인가요?"
      },
      "answer": {
        "span_start": 0,
        "span_end": 40,
        "span_text": "សាលារៀន",
        "input_text": [
          "សាលារៀន",
          "សាលារៀន"
        ],
        "input_text_korean": [
          "학교",
          "학교"
        ]
      }
    },
    "second_turn": {
      "turn_id": 2,
      "questions": {
        "input_text": "តើហេតុអ្វីបានជា​សាលារៀនគឺកន្លែងដែលមនុស្សច្រើនចូលចិត្ត?",
        "input_text_korean": "왜 학교가 많은 사람들이 좋아하는 곳인가요?"
      },
      "answer": {
        "span_start": 41,
        "span_end": 99,
        "span_text": "ទទួលបានចំណេះដឹងថ្មីៗ និងបង្កើនសមត្ថភាពបញ្ញា",
        "input_text": [
          "ពួកគេអាចទទួលបានចំណេះដឹងថ្មីៗ និងបង្កើនសមត្ថភាពបញ្ញារបស់ខ្លួន",
          "ទទួលបានចំណេះដឹងថ្មីៗ និងបង្កើនសមត្ថភាពបញ្ញា"
        ],
        "input_text_korean": [
          "새로운 지식을 얻고 지적 능력을 향상시킬 수 있기 때문입니다.",
          "새로운 지식을 습득하고 지적 역량을 키우다"
        ]
      }
    }
  }
}