TÜLU 3: Spingendo i confini nel post-training del modello di linguaggio aperto

TÜLU 3: Pushing Frontiers in Open Language Model Post-Training

November 22, 2024

Autori: Nathan Lambert, Jacob Morrison, Valentina Pyatkin, Shengyi Huang, Hamish Ivison, Faeze Brahman, Lester James V. Miranda, Alisa Liu, Nouha Dziri, Shane Lyu, Yuling Gu, Saumya Malik, Victoria Graf, Jena D. Hwang, Jiangjiang Yang, Ronan Le Bras, Oyvind Tafjord, Chris Wilhelm, Luca Soldaini, Noah A. Smith, Yizhong Wang, Pradeep Dasigi, Hannaneh Hajishirzi

cs.AI

Abstract

Il post-addestramento del modello linguistico viene applicato per perfezionare comportamenti e sbloccare nuove abilità in un'ampia gamma di modelli linguistici recenti, ma le ricette aperte per l'applicazione di queste tecniche sono in ritardo rispetto a quelle proprietarie. I dati di addestramento sottostanti e le ricette per il post-addestramento sono contemporaneamente le parti più importanti del puzzle e la porzione con la minore trasparenza. Per colmare questa lacuna, presentiamo T\"ULU 3, una famiglia di modelli post-addestrati di ultima generazione completamente aperti, insieme ai relativi dati, codice e ricette di addestramento, che fungono da guida completa per le moderne tecniche di post-addestramento. T\"ULU 3, che si basa sui modelli di base Llama 3.1, ottiene risultati che superano le versioni istruttive di Llama 3.1, Qwen 2.5, Mistral, e persino modelli chiusi come GPT-4o-mini e Claude 3.5-Haiku. Gli algoritmi di addestramento per i nostri modelli includono il fine-tuning supervisionato (SFT), l'ottimizzazione diretta delle preferenze (DPO), e un nuovo metodo che chiamiamo Apprendimento per Rinforzo con Ricompense Verificabili (RLVR). Con T\"ULU 3, introduciamo uno schema di valutazione multi-task per le ricette di post-addestramento con valutazioni di sviluppo e non viste, implementazioni di benchmark standard e una sostanziale decontaminazione dei dataset aperti esistenti su tali benchmark. Concludiamo con un'analisi e una discussione dei metodi di addestramento che non hanno migliorato in modo affidabile le prestazioni. Oltre ai pesi del modello T\"ULU 3 e alla demo, rilasciamo la ricetta completa - comprensiva di dataset per varie competenze di base, un toolkit robusto per la cura e la valutazione dei dati, il codice di addestramento e l'infrastruttura, e, soprattutto, un rapporto dettagliato per riprodurre e adattare ulteriormente l'approccio T\"ULU 3 a più domini.

English

Language model post-training is applied to refine behaviors and unlock new skills across a wide range of recent language models, but open recipes for applying these techniques lag behind proprietary ones. The underlying training data and recipes for post-training are simultaneously the most important pieces of the puzzle and the portion with the least transparency. To bridge this gap, we introduce T\"ULU 3, a family of fully-open state-of-the-art post-trained models, alongside its data, code, and training recipes, serving as a comprehensive guide for modern post-training techniques. T\"ULU 3, which builds on Llama 3.1 base models, achieves results surpassing the instruct versions of Llama 3.1, Qwen 2.5, Mistral, and even closed models such as GPT-4o-mini and Claude 3.5-Haiku. The training algorithms for our models include supervised finetuning (SFT), Direct Preference Optimization (DPO), and a novel method we call Reinforcement Learning with Verifiable Rewards (RLVR). With T\"ULU 3, we introduce a multi-task evaluation scheme for post-training recipes with development and unseen evaluations, standard benchmark implementations, and substantial decontamination of existing open datasets on said benchmarks. We conclude with analysis and discussion of training methods that did not reliably improve performance. In addition to the T\"ULU 3 model weights and demo, we release the complete recipe -- including datasets for diverse core skills, a robust toolkit for data curation and evaluation, the training code and infrastructure, and, most importantly, a detailed report for reproducing and further adapting the T\"ULU 3 approach to more domains.