Desmistificando a Pós-treinamento Adaptativo de Domínio para Modelos de Linguagem de Mercado Financeiro.

Demystifying Domain-adaptive Post-training for Financial LLMs

January 9, 2025

Autores: Zixuan Ke, Yifei Ming, Xuan-Phi Nguyen, Caiming Xiong, Shafiq Joty

cs.AI

Resumo

A pós-treino adaptativo de modelos de linguagem grandes (LLMs) para domínios específicos, como medicina e finanças, tem se destacado como uma abordagem promissora. No entanto, desafios significativos persistem na identificação de critérios de adaptação ótimos e estratégias de treinamento adequadas considerando diferentes configurações de dados e modelos. Para enfrentar esses desafios, apresentamos o FINDAP, uma investigação sistemática e detalhada sobre o pós-treino adaptativo de LLMs para o domínio financeiro. Nosso método começa identificando as capacidades essenciais necessárias para o domínio-alvo e projetando uma suíte de avaliação abrangente alinhada com essas necessidades. Em seguida, analisamos a eficácia das principais etapas de pós-treino, incluindo pré-treino contínuo, ajuste de instruções e alinhamento de preferências. Com base nessas descobertas, propomos uma receita de treinamento eficaz centrada em um novo método de destilação de dados de preferência, que aproveita sinais de processo de um modelo de recompensa generativo. O modelo resultante, Llama-Fin, alcança desempenho de ponta em uma ampla gama de tarefas financeiras. Nossa análise também destaca como cada etapa de pós-treino contribui para capacidades distintas, revelando desafios específicos e soluções eficazes, fornecendo insights valiosos para a adaptação de domínio de LLMs. Página do projeto: https://github.com/SalesforceAIResearch/FinDap

English

Domain-adaptive post-training of large language models (LLMs) has emerged as a promising approach for specialized domains such as medicine and finance. However, significant challenges remain in identifying optimal adaptation criteria and training strategies across varying data and model configurations. To address these challenges, we introduce FINDAP, a systematic and fine-grained investigation into domain-adaptive post-training of LLMs for the finance domain. Our approach begins by identifying the core capabilities required for the target domain and designing a comprehensive evaluation suite aligned with these needs. We then analyze the effectiveness of key post-training stages, including continual pretraining, instruction tuning, and preference alignment. Building on these insights, we propose an effective training recipe centered on a novel preference data distillation method, which leverages process signals from a generative reward model. The resulting model, Llama-Fin, achieves state-of-the-art performance across a wide range of financial tasks. Our analysis also highlights how each post-training stage contributes to distinct capabilities, uncovering specific challenges and effective solutions, providing valuable insights for domain adaptation of LLMs. Project page: https://github.com/SalesforceAIResearch/FinDap