Qwen2.5 Technischer Bericht

Qwen2.5 Technical Report

December 19, 2024

Autoren: Qwen, An Yang, Baosong Yang, Beichen Zhang, Binyuan Hui, Bo Zheng, Bowen Yu, Chengyuan Li, Dayiheng Liu, Fei Huang, Haoran Wei, Huan Lin, Jian Yang, Jianhong Tu, Jianwei Zhang, Jianxin Yang, Jiaxi Yang, Jingren Zhou, Junyang Lin, Kai Dang, Keming Lu, Keqin Bao, Kexin Yang, Le Yu, Mei Li, Mingfeng Xue, Pei Zhang, Qin Zhu, Rui Men, Runji Lin, Tianhao Li, Tingyu Xia, Xingzhang Ren, Xuancheng Ren, Yang Fan, Yang Su, Yichang Zhang, Yu Wan, Yuqiong Liu, Zeyu Cui, Zhenru Zhang, Zihan Qiu

cs.AI

Zusammenfassung

In diesem Bericht stellen wir Qwen2.5 vor, eine umfassende Serie von großen Sprachmodellen (LLMs), die entwickelt wurden, um vielfältigen Anforderungen gerecht zu werden. Im Vergleich zu früheren Iterationen wurde Qwen 2.5 sowohl während des Pre-Trainings als auch des Post-Trainings signifikant verbessert. Im Pre-Training haben wir die hochwertigen Pre-Training-Datensätze von zuvor 7 Billionen Tokens auf 18 Billionen Tokens skaliert. Dies bietet eine solide Grundlage für gesunden Menschenverstand, Expertenwissen und Argumentationsfähigkeiten. Im Post-Training implementieren wir komplexe überwachte Feinabstimmung mit über 1 Million Beispielen sowie mehrstufiges verstärkendes Lernen. Post-Training-Techniken verbessern die menschliche Präferenz und verbessern insbesondere die Generierung langer Texte, die strukturelle Datenanalyse und das Befolgen von Anweisungen. Um vielfältige und unterschiedliche Anwendungsfälle effektiv zu bewältigen, präsentieren wir die Qwen2.5 LLM-Serie in verschiedenen Größen. Die Open-Weight-Angebote umfassen Basismodelle und instruktionsangepasste Modelle, wobei quantisierte Versionen verfügbar sind. Darüber hinaus umfassen die proprietären Modelle für gehostete Lösungen derzeit zwei Varianten von Mixture-of-Experts (MoE): Qwen2.5-Turbo und Qwen2.5-Plus, die beide über das Alibaba Cloud Model Studio verfügbar sind. Qwen2.5 hat Spitzenleistungen in einer Vielzahl von Benchmarks gezeigt, die die Sprachverarbeitung, Argumentation, Mathematik, Codierung, die Anpassung an menschliche Präferenzen usw. bewerten. Insbesondere übertrifft das Open-Weight-Flaggschiff Qwen2.5-72B-Instruct eine Reihe von offenen und proprietären Modellen und zeigt eine wettbewerbsfähige Leistung im Vergleich zum State-of-the-Art-Open-Weight-Modell Llama-3-405B-Instruct, das etwa 5-mal größer ist. Qwen2.5-Turbo und Qwen2.5-Plus bieten eine überlegene Kostenwirksamkeit und konkurrieren erfolgreich mit GPT-4o-mini bzw. GPT-4o. Darüber hinaus haben die Qwen2.5-Modelle als Grundlage maßgeblich zur Schulung spezialisierter Modelle wie Qwen2.5-Math, Qwen2.5-Coder, QwQ und multimodale Modelle beigetragen.

English

In this report, we introduce Qwen2.5, a comprehensive series of large language models (LLMs) designed to meet diverse needs. Compared to previous iterations, Qwen 2.5 has been significantly improved during both the pre-training and post-training stages. In terms of pre-training, we have scaled the high-quality pre-training datasets from the previous 7 trillion tokens to 18 trillion tokens. This provides a strong foundation for common sense, expert knowledge, and reasoning capabilities. In terms of post-training, we implement intricate supervised finetuning with over 1 million samples, as well as multistage reinforcement learning. Post-training techniques enhance human preference, and notably improve long text generation, structural data analysis, and instruction following. To handle diverse and varied use cases effectively, we present Qwen2.5 LLM series in rich sizes. Open-weight offerings include base and instruction-tuned models, with quantized versions available. In addition, for hosted solutions, the proprietary models currently include two mixture-of-experts (MoE) variants: Qwen2.5-Turbo and Qwen2.5-Plus, both available from Alibaba Cloud Model Studio. Qwen2.5 has demonstrated top-tier performance on a wide range of benchmarks evaluating language understanding, reasoning, mathematics, coding, human preference alignment, etc. Specifically, the open-weight flagship Qwen2.5-72B-Instruct outperforms a number of open and proprietary models and demonstrates competitive performance to the state-of-the-art open-weight model, Llama-3-405B-Instruct, which is around 5 times larger. Qwen2.5-Turbo and Qwen2.5-Plus offer superior cost-effectiveness while performing competitively against GPT-4o-mini and GPT-4o respectively. Additionally, as the foundation, Qwen2.5 models have been instrumental in training specialized models such as Qwen2.5-Math, Qwen2.5-Coder, QwQ, and multimodal models.