Rapport technique de Qwen2.5

Qwen2.5 Technical Report

December 19, 2024

Auteurs: Qwen, An Yang, Baosong Yang, Beichen Zhang, Binyuan Hui, Bo Zheng, Bowen Yu, Chengyuan Li, Dayiheng Liu, Fei Huang, Haoran Wei, Huan Lin, Jian Yang, Jianhong Tu, Jianwei Zhang, Jianxin Yang, Jiaxi Yang, Jingren Zhou, Junyang Lin, Kai Dang, Keming Lu, Keqin Bao, Kexin Yang, Le Yu, Mei Li, Mingfeng Xue, Pei Zhang, Qin Zhu, Rui Men, Runji Lin, Tianhao Li, Tingyu Xia, Xingzhang Ren, Xuancheng Ren, Yang Fan, Yang Su, Yichang Zhang, Yu Wan, Yuqiong Liu, Zeyu Cui, Zhenru Zhang, Zihan Qiu

cs.AI

Résumé

Dans ce rapport, nous présentons Qwen2.5, une série complète de grands modèles de langage (LLM) conçue pour répondre à des besoins divers. Comparé aux itérations précédentes, Qwen 2.5 a été considérablement amélioré à la fois lors des étapes de pré-entraînement et de post-entraînement. En ce qui concerne le pré-entraînement, nous avons étendu les ensembles de données de pré-entraînement de haute qualité passant de 7 billions de jetons précédents à 18 billions de jetons. Cela fournit une base solide pour le bon sens, les connaissances d'experts et les capacités de raisonnement. En ce qui concerne le post-entraînement, nous mettons en œuvre un finetuning supervisé complexe avec plus de 1 million d'échantillons, ainsi que de l'apprentissage par renforcement multi-étapes. Les techniques de post-entraînement améliorent la préférence humaine et améliorent notablement la génération de longs textes, l'analyse de données structurales et le suivi des instructions. Pour gérer efficacement des cas d'utilisation divers et variés, nous présentons la série Qwen2.5 LLM dans des tailles variées. Les offres open-weight comprennent des modèles de base et des modèles adaptés aux instructions, avec des versions quantifiées disponibles. De plus, pour les solutions hébergées, les modèles propriétaires comprennent actuellement deux variantes de mélange d'experts (MoE) : Qwen2.5-Turbo et Qwen2.5-Plus, tous deux disponibles sur Alibaba Cloud Model Studio. Qwen2.5 a démontré des performances de premier ordre sur un large éventail de benchmarks évaluant la compréhension du langage, le raisonnement, les mathématiques, le codage, l'alignement des préférences humaines, etc. Plus précisément, le modèle open-weight phare Qwen2.5-72B-Instruct surpasse un certain nombre de modèles open-source et propriétaires et affiche des performances compétitives par rapport au modèle open-weight de pointe, Llama-3-405B-Instruct, qui est environ 5 fois plus grand. Qwen2.5-Turbo et Qwen2.5-Plus offrent une rentabilité supérieure tout en étant compétitifs par rapport à GPT-4o-mini et GPT-4o respectivement. De plus, en tant que base, les modèles Qwen2.5 ont été essentiels pour former des modèles spécialisés tels que Qwen2.5-Math, Qwen2.5-Coder, QwQ et des modèles multimodaux.

English

In this report, we introduce Qwen2.5, a comprehensive series of large language models (LLMs) designed to meet diverse needs. Compared to previous iterations, Qwen 2.5 has been significantly improved during both the pre-training and post-training stages. In terms of pre-training, we have scaled the high-quality pre-training datasets from the previous 7 trillion tokens to 18 trillion tokens. This provides a strong foundation for common sense, expert knowledge, and reasoning capabilities. In terms of post-training, we implement intricate supervised finetuning with over 1 million samples, as well as multistage reinforcement learning. Post-training techniques enhance human preference, and notably improve long text generation, structural data analysis, and instruction following. To handle diverse and varied use cases effectively, we present Qwen2.5 LLM series in rich sizes. Open-weight offerings include base and instruction-tuned models, with quantized versions available. In addition, for hosted solutions, the proprietary models currently include two mixture-of-experts (MoE) variants: Qwen2.5-Turbo and Qwen2.5-Plus, both available from Alibaba Cloud Model Studio. Qwen2.5 has demonstrated top-tier performance on a wide range of benchmarks evaluating language understanding, reasoning, mathematics, coding, human preference alignment, etc. Specifically, the open-weight flagship Qwen2.5-72B-Instruct outperforms a number of open and proprietary models and demonstrates competitive performance to the state-of-the-art open-weight model, Llama-3-405B-Instruct, which is around 5 times larger. Qwen2.5-Turbo and Qwen2.5-Plus offer superior cost-effectiveness while performing competitively against GPT-4o-mini and GPT-4o respectively. Additionally, as the foundation, Qwen2.5 models have been instrumental in training specialized models such as Qwen2.5-Math, Qwen2.5-Coder, QwQ, and multimodal models.