TÜLU 3: Расширение границ в посттренировке открытой языковой модели

TÜLU 3: Pushing Frontiers in Open Language Model Post-Training

November 22, 2024

Авторы: Nathan Lambert, Jacob Morrison, Valentina Pyatkin, Shengyi Huang, Hamish Ivison, Faeze Brahman, Lester James V. Miranda, Alisa Liu, Nouha Dziri, Shane Lyu, Yuling Gu, Saumya Malik, Victoria Graf, Jena D. Hwang, Jiangjiang Yang, Ronan Le Bras, Oyvind Tafjord, Chris Wilhelm, Luca Soldaini, Noah A. Smith, Yizhong Wang, Pradeep Dasigi, Hannaneh Hajishirzi

cs.AI

Аннотация

Пост-тренировка языковой модели применяется для улучшения поведения и разблокировки новых навыков в широком диапазоне недавних языковых моделей, однако открытые рецепты для применения этих техник отстают от проприетарных. Основные данные обучения и рецепты для пост-тренировки одновременно являются наиболее важными элементами пазла и частью с наименьшей прозрачностью. Для устранения этого разрыва мы представляем T\"ULU 3, семейство современных пост-тренированных моделей, вместе с данными, кодом и рецептами обучения, служащими в качестве всеобъемлющего руководства по современным техникам пост-тренировки. T\"ULU 3, основанный на базовых моделях Llama 3.1, достигает результатов, превосходящих версии Instruct Llama 3.1, Qwen 2.5, Mistral, а также закрытые модели, такие как GPT-4o-mini и Claude 3.5-Haiku. Алгоритмы обучения для наших моделей включают надзорное дообучение (SFT), прямую оптимизацию предпочтений (DPO) и новый метод, который мы называем Обучением с подтверждаемыми наградами на основе обучения с подкреплением (RLVR). С помощью T\"ULU 3 мы представляем схему оценки многозадачной пост-тренировки с разработкой и оценкой на невидимых данных, стандартные реализации бенчмарков и значительную деконтаминацию существующих открытых наборов данных на этих бенчмарках. Мы завершаем анализом и обсуждением методов обучения, которые не надежно улучшили производительность. Помимо весов модели T\"ULU 3 и демонстрации, мы публикуем полный рецепт, включая наборы данных для разнообразных основных навыков, надежный инструментарий для курирования и оценки данных, код и инфраструктуру обучения, а также, что самое важное, подробный отчет для воспроизведения и дальнейшей адаптации подхода T\"ULU 3 к другим областям.

English

Language model post-training is applied to refine behaviors and unlock new skills across a wide range of recent language models, but open recipes for applying these techniques lag behind proprietary ones. The underlying training data and recipes for post-training are simultaneously the most important pieces of the puzzle and the portion with the least transparency. To bridge this gap, we introduce T\"ULU 3, a family of fully-open state-of-the-art post-trained models, alongside its data, code, and training recipes, serving as a comprehensive guide for modern post-training techniques. T\"ULU 3, which builds on Llama 3.1 base models, achieves results surpassing the instruct versions of Llama 3.1, Qwen 2.5, Mistral, and even closed models such as GPT-4o-mini and Claude 3.5-Haiku. The training algorithms for our models include supervised finetuning (SFT), Direct Preference Optimization (DPO), and a novel method we call Reinforcement Learning with Verifiable Rewards (RLVR). With T\"ULU 3, we introduce a multi-task evaluation scheme for post-training recipes with development and unseen evaluations, standard benchmark implementations, and substantial decontamination of existing open datasets on said benchmarks. We conclude with analysis and discussion of training methods that did not reliably improve performance. In addition to the T\"ULU 3 model weights and demo, we release the complete recipe -- including datasets for diverse core skills, a robust toolkit for data curation and evaluation, the training code and infrastructure, and, most importantly, a detailed report for reproducing and further adapting the T\"ULU 3 approach to more domains.