AI-Hub

■ AI 모델 개발 요약표

■ 초거대AI 데이터 활용 AI 모델 개발 방안
  ○ 임무 정의
    • 임무: 국악합주곡 오디오 기반 장르/악기 태깅
    • 개념: 1데이터(1곡) 내 악기 구성, 음악적 요소(장르‧박자‧템포‧조성 등) 태그를 예측하는 것을 목표로 함
      ※ 합주곡 마스터 음원과 악기별 멀티트랙 음원 1,004곡 신규 구축 

  ○ 임무 선정 이유
    • 본 데이터는 국악합주곡 1,004곡과 악기별 멀티트랙 데이터 6,416개를 포함하고 있어, 국악 장르 및 악기 태깅/분류 모델 학습, 평가에 활용 가능함
      ※ 기존 서양악기 중심의 음악 장르별 악기 태깅 모델은 국악기 음색,      장단, 연주 특성 등을 충분히 반영하기 어려움 
    • 국악 장르 및 악기 태깅에 관한 성능 평가를 통해 데이터의 AI 모델 학습 활용 가능성과 라벨 일관성을 확인할 수 있으며, 전통음악 분야 특화 AI 모델 개발 기반으로 활용 가능

  ○ 학습 모델 개발 환경
    • 학습 환경: Linux, Python, PyTorch, CUDA 기반 GPU 서버
    • 데이터 분할 : train/test set을 9:1 비율의 hold-out 방식으로 구성
    • Data1 학습 데이터 : 합주곡 오디오 약 60시간
    • Data1 모델 개발 : 뉴튠 자체 개발 서양 곡에 대한 장르 태깅 모델(ResNet 기반)을 국악 고유의 장르 태깅에 맞게 개량
    • Data2 학습 데이터 : 악기별 멀티트랙 오디오 약 300여 시간
    • Data2 모델 개발 : 서양악기 대상 멀티트랙 태깅 모델을 국악 악기별 클래스로 확장하고, ResNet 기반 태깅 모델을 국악 멀티트랙 데이터로 재학습

  ○ 최종 선정 모델
    • Data1 : ResNet 기반 장르 태깅 모델
    • Data2 : ResNet 기반 악기 태깅 모델

  ○ 학습 데이터 생성
    • Data1 입력 : 합주곡 오디오
    • Data1 출력 : 곡에 대한 국악 장르 태그 예측값
    • Data2 입력 : 악기별 멀티트랙 오디오
    • Data2 출력 : 멀티트랙에 대한 국악 악기 태그 예측값

  ○ AI 모델 성능
    • Data1 : 장르 태깅 ACC 70% 목표
    • Data2 : 악기 태깅 ACC 70% 목표

1. 라벨링 데이터 구성 요소(포맷)
 

2. 라벨링 데이터 예시
   . 0001_정악_풍류음악
 

○ 라벨링데이터(곡단위, 악기) 포맷

○ json 예시(곡 정보, 악기 정보)

{
  "project_name": "0001_정악_풍류음악",
  "master": {
    "file_name": "0001_정악_풍류음악.wav",
    "tags": {
      "sampleRate": 48000,
      "bitDepth": 24,
      "performers": "국립국악원",
      "genreMajor": "정악",
      "genreSub": "풍류음악",
      "genreDetail": "영산회상, 도드리",
      "title": "관악영산회상(삼현영산회상,표정만방지곡) 중 상령산 1장",
      "tempoBpm": 100,
      "timeSignature": "3/8",
      "recordDate": "2025-08-05",
      "moods": [
        {
          "mood": "의례적인",
          "count": 2
        },
        {
          "mood": "장엄한",
          "count": 2
        },
        {
          "mood": "절제된",
          "count": 3
        },
        {
          "mood": "진지한",
          "count": 3
        },
        {
          "mood": "차분한",
          "count": 2
        },
        {
          "mood": "품위 있는",
          "count": 4
        }
      ],
      "western_key": "Ab / Fm"
    }
  },
  "stems": [
    {
      "file_name": "0001_정악_풍류음악_대금.wav",
      "tags": {
        "instrumentMajor": "대금",
        "instrumentSub": "대금"
      }
    },
    {
      "file_name": "0001_정악_풍류음악_소금.wav",
      "tags": {
        "instrumentMajor": "기타",
        "instrumentSub": "소금"
      }
    },
    {
      "file_name": "0001_정악_풍류음악_아쟁.wav",
      "tags": {
        "instrumentMajor": "아쟁",
        "instrumentSub": "아쟁"
      }
    },
    {
      "file_name": "0001_정악_풍류음악_장구.wav",
      "tags": {
        "instrumentMajor": "타악기",
        "instrumentSub": "장구"
      }
    },
    {
      "file_name": "0001_정악_풍류음악_좌고.wav",
      "tags": {
        "instrumentMajor": "타악기",
        "instrumentSub": "좌고"
      }
    },
    {
      "file_name": "0001_정악_풍류음악_피리.wav",
      "tags": {
        "instrumentMajor": "피리",
        "instrumentSub": "피리"
      }
    },
    {
      "file_name": "0001_정악_풍류음악_해금.wav",
      "tags": {
        "instrumentMajor": "해금",
        "instrumentSub": "해금"
      }
    }
  ]
}