Baichuan Ausrichtung Technischer Bericht

Baichuan Alignment Technical Report

October 19, 2024

Autoren: Mingan Lin, Fan Yang, Yanjun Shen, Haoze Sun, Tianpeng Li, Tao Zhang, Chenzheng Zhu, Tao Zhang, Miao Zheng, Xu Li, Yijie Zhou, Mingyang Chen, Yanzhao Qin, Youquan Li, Hao Liang, Fei Li, Yadong Li, Mang Wang, Guosheng Dong, Kun Fang, Jianhua Xu, Bin Cui, Wentao Zhang, Zenan Zhou, Weipeng Chen

cs.AI

Zusammenfassung

Wir stellen Baichuan Alignment vor, eine detaillierte Analyse der Ausrichtungstechniken, die in der Baichuan-Serie von Modellen verwendet werden. Dies stellt die erste umfassende Darstellung von Ausrichtungsmethoden in der Branche dar und bietet wertvolle Einblicke zur Förderung der KI-Forschung. Wir untersuchen die entscheidenden Komponenten, die die Leistung des Modells während des Ausrichtungsprozesses verbessern, einschließlich Optimierungsmethoden, Datenauswahlstrategien, Leistungserweiterungen und Evaluierungsprozesse. Der Prozess umfasst drei Schlüsselstufen: Prompt-Augmentierungssystem (PAS), Überwachtes Feintuning (SFT) und Präferenzausrichtung. Die auftretenden Probleme, angewandten Lösungen und vorgenommenen Verbesserungen werden gründlich dokumentiert. Durch Vergleiche mit etablierten Benchmarks heben wir die technologischen Fortschritte hervor, die durch Baichuan Alignment ermöglicht werden. Baichuan-Instruct ist ein internes Modell, während Qwen2-Nova-72B und Llama3-PBM-Nova-70B Instruct-Versionen der Basismodelle Qwen2-72B und Llama-3-70B sind, die durch Baichuan Alignment optimiert wurden. Baichuan-Instruct zeigt signifikante Verbesserungen in den Kernfähigkeiten, mit Nutzererfahrungssteigerungen von 17% bis 28% und erzielt herausragende Leistungen bei spezialisierten Benchmarks. In Evaluierungen anhand von Open-Source-Benchmarks übertreffen sowohl Qwen2-Nova-72B als auch Llama3-PBM-Nova-70B konsistent ihre jeweiligen offiziellen Instruct-Versionen in nahezu allen Datensätzen. Dieser Bericht zielt darauf ab, die Schlüsseltechnologien hinter dem Ausrichtungsprozess zu klären und ein tieferes Verständnis innerhalb der Gemeinschaft zu fördern. Das Llama3-PBM-Nova-70B-Modell ist verfügbar unter https://huggingface.co/PKU-Baichuan-MLSystemLab/Llama3-PBM-Nova-70B.

English

We introduce Baichuan Alignment, a detailed analysis of the alignment techniques employed in the Baichuan series of models. This represents the industry's first comprehensive account of alignment methodologies, offering valuable insights for advancing AI research. We investigate the critical components that enhance model performance during the alignment process, including optimization methods, data strategies, capability enhancements, and evaluation processes. The process spans three key stages: Prompt Augmentation System (PAS), Supervised Fine-Tuning (SFT), and Preference Alignment. The problems encountered, the solutions applied, and the improvements made are thoroughly recorded. Through comparisons across well-established benchmarks, we highlight the technological advancements enabled by Baichuan Alignment. Baichuan-Instruct is an internal model, while Qwen2-Nova-72B and Llama3-PBM-Nova-70B are instruct versions of the Qwen2-72B and Llama-3-70B base models, optimized through Baichuan Alignment. Baichuan-Instruct demonstrates significant improvements in core capabilities, with user experience gains ranging from 17% to 28%, and performs exceptionally well on specialized benchmarks. In open-source benchmark evaluations, both Qwen2-Nova-72B and Llama3-PBM-Nova-70B consistently outperform their respective official instruct versions across nearly all datasets. This report aims to clarify the key technologies behind the alignment process, fostering a deeper understanding within the community. Llama3-PBM-Nova-70B model is available at https://huggingface.co/PKU-Baichuan-MLSystemLab/Llama3-PBM-Nova-70B.