장문 문서 요약 — NAVER CLOVA AI RUSH 2022

개요

NAVER CLOVA 주최 AI RUSH 2022 대회 Long Document Summarization 트랙에 참가하여 1위를 달성했습니다. book·dialogue·document·journal 4종 도메인의 장문 입력을 각각 최적화된 PLM으로 요약하는 도메인별 분기 요약 시스템을 설계·구현했습니다. 평가지표는 ROUGE-1/2/L F-score 평균입니다.

주요 성과

• ELECTRA-base 분류기로 입력 문서의 도메인을 자동 판별하고, 도메인별 최적 PLM으로 라우팅하는 분기 요약 파이프라인 구축
• 도메인별 PLM 선정 및 파인튜닝:
  • Book: paust/pko-t5-base + finetuning (512 토큰)
  • Dialogue: alaggung/bart-rl (512 토큰)
  • Document: ainize/kobart-news (1024 토큰)
  • Journal: paust/pko-t5-base + finetuning & extractive 요약 병행 (512 토큰)
• Journal 도메인은 정형화된 공적 문서 형식 키워드를 활용한 extractive 요약으로 높은 ROUGE와 빠른 추론 시간을 동시 확보
• OOD(Out-of-Distribution) 문서를 ELECTRA 분류기가 감지하여 가장 유사한 도메인으로 라우팅

설계 제약과 판단

• 단일 모델 대비 도메인별 분기 방식이 ROUGE 총점에서 우수: 도메인마다 문서 길이, 문체, 구조가 달라 통합 모델로는 일반화 한계가 명확했음
• 각 도메인의 평균 입력 길이 차이에 맞춰 최대 토큰 수를 조정하여 추론 시간 절약
• 학습 데이터가 4종 도메인인데 테스트에 미지 도메인이 포함될 가능성을 고려하여 ELECTRA 기반 OOD 라우팅 추가