[NAVER] 플레이스 검색 개인화 추천 모델 경량화 리서치 체험형

1. LLM 추론 경량화 연구 (Knowledge Distillation · Quantization) : Teacher LLM 대비 추론 속도 3배 이상 향상을 목표로 합니다. : Teacher LLM → Student sLLM Knowledge Distillation 및 Quantization 기법을 연구하고, : 오프라인 실험을 통해 Latency-품질 목표 달성 가능성을 검증합니다. •Teacher-Student(KD) 설계 및 학습 •: Teacher LLM의 유저 페르소나 출력을 학습 데이터로 활용하여 Student sLLM을 Fine-tuning하고, •: Teacher 대비 품질 저하 수준을 측정 •Quantization · Pruning 실험 •: INT8/FP16 양자화 및 가지치기 기법을 적용하여 추론 속도를 개선하고, 서비스 SLA(Latency 목표치) 충족 여부를 측정 2. 경량화 모델 품질 자동 평가 (LLM-as-a-Judge) : 경량화 전·후 유저 피처 품질을 자동으로 비교 평가하는 파이프라인을 구축하고, 서비스 수용 가능한 품질 저하 임계값을 정의합니다. •경량 랭킹 모델 오프라인 성능 검증 •: 경량화된 LLM-as-a-Reranker의 추론 속도(Teacher 대비 3배 이상 향상 목표)와 •: 추천 품질(오프라인 CTR 지표)을 베이스라인과 비교하여 Latency-품질 trade-off를 분석 •오프라인 성능 검증 파이프라인 •: 경량화 전·후 모델의 CTR 등 서비스 지표를 비교하는 오프라인 평가 체계를 설계 •End-to-End Latency 프로파일링 •: 추론 파이프라인 전체의 Latency를 측정하고, 서비스 병목 구간을 파악하여 최적화 방안을 도출