금융 LLM을 위한 도메인 적응형 사후 훈련의 실체 해명

Demystifying Domain-adaptive Post-training for Financial LLMs

January 9, 2025

저자: Zixuan Ke, Yifei Ming, Xuan-Phi Nguyen, Caiming Xiong, Shafiq Joty

cs.AI

초록

대규모 언어 모델 (LLM)의 도메인 적응형 사후 훈련은 의학 및 금융과 같은 전문 분야에 대한 유망한 접근 방식으로 등장했습니다. 그러나 다양한 데이터 및 모델 구성에 걸쳐 최적의 적응 기준과 훈련 전략을 식별하는 데 중대한 어려움이 남아 있습니다. 이러한 어려움에 대처하기 위해 금융 분야를 위한 LLM의 도메인 적응형 사후 훈련에 대한 체계적이고 세밀한 조사인 FINDAP을 소개합니다. 저희 방법론은 대상 도메인에 필요한 핵심 능력을 식별하고 이에 부합하는 포괄적인 평가 체계를 설계하는 것으로 시작합니다. 그런 다음, 계속적인 사전 훈련, 지시 조정 및 선호도 조정을 포함한 주요 사후 훈련 단계의 효과를 분석합니다. 이러한 통찰을 기반으로, 우리는 새로운 선호도 데이터 증류 방법에 중점을 둔 효과적인 훈련 레시피를 제안합니다. 이 방법은 생성 보상 모델로부터 프로세스 신호를 활용합니다. 결과적인 모델인 Llama-Fin은 다양한 금융 작업에서 최첨단 성능을 달성합니다. 저희 분석은 또한 각 사후 훈련 단계가 특정 능력에 기여하는 방식을 강조하여 특정 도전과 효과적인 해결책을 발견하고 LLM의 도메인 적응에 대한 소중한 통찰을 제공합니다. 프로젝트 페이지: https://github.com/SalesforceAIResearch/FinDap

English

Domain-adaptive post-training of large language models (LLMs) has emerged as a promising approach for specialized domains such as medicine and finance. However, significant challenges remain in identifying optimal adaptation criteria and training strategies across varying data and model configurations. To address these challenges, we introduce FINDAP, a systematic and fine-grained investigation into domain-adaptive post-training of LLMs for the finance domain. Our approach begins by identifying the core capabilities required for the target domain and designing a comprehensive evaluation suite aligned with these needs. We then analyze the effectiveness of key post-training stages, including continual pretraining, instruction tuning, and preference alignment. Building on these insights, we propose an effective training recipe centered on a novel preference data distillation method, which leverages process signals from a generative reward model. The resulting model, Llama-Fin, achieves state-of-the-art performance across a wide range of financial tasks. Our analysis also highlights how each post-training stage contributes to distinct capabilities, uncovering specific challenges and effective solutions, providing valuable insights for domain adaptation of LLMs. Project page: https://github.com/SalesforceAIResearch/FinDap