Technisch Rapport Baichuan Alignment

Baichuan Alignment Technical Report

October 19, 2024

Auteurs: Mingan Lin, Fan Yang, Yanjun Shen, Haoze Sun, Tianpeng Li, Tao Zhang, Chenzheng Zhu, Tao Zhang, Miao Zheng, Xu Li, Yijie Zhou, Mingyang Chen, Yanzhao Qin, Youquan Li, Hao Liang, Fei Li, Yadong Li, Mang Wang, Guosheng Dong, Kun Fang, Jianhua Xu, Bin Cui, Wentao Zhang, Zenan Zhou, Weipeng Chen

cs.AI

Samenvatting

We introduceren Baichuan Alignment, een gedetailleerde analyse van de aligneringstechnieken die worden toegepast in de Baichuan-serie van modellen. Dit vertegenwoordigt de eerste uitgebreide beschrijving van aligneringsmethodologieën in de industrie, en biedt waardevolle inzichten voor de vooruitgang van AI-onderzoek. We onderzoeken de cruciale componenten die de prestaties van modellen verbeteren tijdens het aligneringsproces, waaronder optimalisatiemethoden, gegevensstrategieën, capaciteitsverbeteringen en evaluatieprocessen. Het proces omvat drie belangrijke fasen: Prompt Augmentation System (PAS), Supervised Fine-Tuning (SFT), en Preference Alignment. De problemen die zich voordoen, de toegepaste oplossingen, en de verbeteringen die zijn aangebracht, worden grondig gedocumenteerd. Door vergelijkingen met goed ingeburgerde benchmarks benadrukken we de technologische vooruitgang die mogelijk is gemaakt door Baichuan Alignment. Baichuan-Instruct is een intern model, terwijl Qwen2-Nova-72B en Llama3-PBM-Nova-70B instruct-versies zijn van de basismodellen Qwen2-72B en Llama-3-70B, geoptimaliseerd via Baichuan Alignment. Baichuan-Instruct toont aanzienlijke verbeteringen in kernmogelijkheden, met gebruikerservaringswinsten variërend van 17% tot 28%, en presteert uitzonderlijk goed op gespecialiseerde benchmarks. In evaluaties van open-source benchmarks presteren zowel Qwen2-Nova-72B als Llama3-PBM-Nova-70B consequent beter dan hun respectievelijke officiële instruct-versies op bijna alle datasets. Dit rapport heeft tot doel de belangrijkste technologieën achter het aligneringsproces te verduidelijken, en zo een dieper begrip binnen de gemeenschap te bevorderen. Het Llama3-PBM-Nova-70B model is beschikbaar op https://huggingface.co/PKU-Baichuan-MLSystemLab/Llama3-PBM-Nova-70B.

English

We introduce Baichuan Alignment, a detailed analysis of the alignment techniques employed in the Baichuan series of models. This represents the industry's first comprehensive account of alignment methodologies, offering valuable insights for advancing AI research. We investigate the critical components that enhance model performance during the alignment process, including optimization methods, data strategies, capability enhancements, and evaluation processes. The process spans three key stages: Prompt Augmentation System (PAS), Supervised Fine-Tuning (SFT), and Preference Alignment. The problems encountered, the solutions applied, and the improvements made are thoroughly recorded. Through comparisons across well-established benchmarks, we highlight the technological advancements enabled by Baichuan Alignment. Baichuan-Instruct is an internal model, while Qwen2-Nova-72B and Llama3-PBM-Nova-70B are instruct versions of the Qwen2-72B and Llama-3-70B base models, optimized through Baichuan Alignment. Baichuan-Instruct demonstrates significant improvements in core capabilities, with user experience gains ranging from 17% to 28%, and performs exceptionally well on specialized benchmarks. In open-source benchmark evaluations, both Qwen2-Nova-72B and Llama3-PBM-Nova-70B consistently outperform their respective official instruct versions across nearly all datasets. This report aims to clarify the key technologies behind the alignment process, fostering a deeper understanding within the community. Llama3-PBM-Nova-70B model is available at https://huggingface.co/PKU-Baichuan-MLSystemLab/Llama3-PBM-Nova-70B.