Intent Classification 모델 개발

Domain Adaptive Pre-training 기반 의료·보험 도메인 의도 분류

NLP포지큐브
역할
NLP 모델 개발, Domain Adaptive Pre-training
소속
포지큐브
분야
NLP
기술 스택
Python, PyTorch, Hugging Face Transformers, BERT
Fig. 1. Intent Classification 모델 개발, 주요 화면을 다시 그린 도면입니다.

개요

사내에 자체 Intent Classification 모델이 없어 사용하던 Azure Intent Classification API를 도메인 특화 BERT 모델로 완전 대체했습니다. Domain Adaptive Pre-training과 PyTorch DDP 분산 학습(A100 4장)으로 의료·보험 전문 용어 이해도를 높여, 서비스 중인 도메인에서 F1 Score를 0.74에서 0.92로 끌어올리고 상용 서비스에 적용했습니다.

문제

사내에 자체 Intent Classification 모델이 없어 Azure Intent Classification API를 사용하고 있었고, 서비스 중인 도메인에서의 성능은 F1 Score 0.74에 머물렀습니다. 범용 모델이 의료·보험 분야의 전문 용어, 코로나 관련 신조어, 상담 문체 등을 학습하지 못해 특정 Intent 간 오분류가 빈번하게 발생했습니다.

과정

문제 분석오분류 패턴

범용 BERT가 의료·보험 전문 용어, 코로나 관련 신조어, 상담 문체를 이해하지 못해 특정 Intent끼리 오분류가 반복되는 지점을 Error Analysis로 확인했습니다.

Corpus 구축의료 · 보험 도메인

의료·보험 도메인 Corpus를 직접 구축하고 전처리 파이프라인을 설계했습니다.

사전 학습DAPT (MLM)

구축한 Corpus로 BERT에 Domain Adaptive Pre-training(MLM)을 수행했습니다. A100 GPU 4장 기반 PyTorch DDP 분산 학습과 Mixed Precision Training으로 학습 시간을 줄였습니다.

Fine-tuning · 검증Azure 대비 비교

Intent Classification Task로 Fine-tuning하며 Classification Head와 하이퍼파라미터를 조정했고, 기존 Azure 모델과 성능을 비교해 자사 모델 전환의 타당성을 검토했습니다.

화면과 도식

성과

0.74기존 Azure Intent Classification API의 F1 Score서비스 중인 도메인 기준
0.92자체 개발 BERT 모델의 F1 Score같은 도메인 · 상용 서비스 적용
  • 서비스 중인 도메인 기준 F1 Score 0.74(Azure API)에서 0.92(자체 모델)로 향상
  • 도메인 특화 BERT 모델 개발로 의료·보험 용어 이해도 향상 및 Intent 오분류 감소
  • 자사 모델 전환 검토 완료 및 기술적 타당성 검증
  • 분산 학습 환경 구축으로 대규모 모델 학습 경험 확보

담당 역할

  • 의료·보험 도메인 Corpus 구축 및 전처리 파이프라인 설계
  • BERT 기반 Domain Adaptive Pre-training (MLM) 수행
  • Intent Classification Task Fine-tuning 및 Classification Head 최적화
  • Error Analysis 기반 오분류 패턴 분석 및 개선 실험
  • A100 GPU 4장 활용 PyTorch DDP 분산 학습 환경 구축
  • Mixed Precision Training 적용 및 학습 시간 최적화
  • 하이퍼파라미터 튜닝 (Learning Rate, Batch Size, Warmup Steps)
  • 기존 외부 모델 대비 성능 비교 분석 및 전환 타당성 검토
PythonPyTorchHugging Face TransformersBERTDomain Adaptive Pre-trainingFine-tuningPyTorch DDPMixed Precision TrainingCUDAMulti-GPU TrainingError AnalysisHyperparameter Optimization