Technisch Rapport Qwen2.5

Qwen2.5 Technical Report

December 19, 2024

Auteurs: Qwen, An Yang, Baosong Yang, Beichen Zhang, Binyuan Hui, Bo Zheng, Bowen Yu, Chengyuan Li, Dayiheng Liu, Fei Huang, Haoran Wei, Huan Lin, Jian Yang, Jianhong Tu, Jianwei Zhang, Jianxin Yang, Jiaxi Yang, Jingren Zhou, Junyang Lin, Kai Dang, Keming Lu, Keqin Bao, Kexin Yang, Le Yu, Mei Li, Mingfeng Xue, Pei Zhang, Qin Zhu, Rui Men, Runji Lin, Tianhao Li, Tingyu Xia, Xingzhang Ren, Xuancheng Ren, Yang Fan, Yang Su, Yichang Zhang, Yu Wan, Yuqiong Liu, Zeyu Cui, Zhenru Zhang, Zihan Qiu

cs.AI

Samenvatting

In dit rapport introduceren we Qwen2.5, een uitgebreide reeks grote taalmodellen (LLM's) die zijn ontworpen om aan diverse behoeften te voldoen. In vergelijking met eerdere versies is Qwen 2.5 aanzienlijk verbeterd tijdens zowel de pre-training als post-training fasen. Wat betreft pre-training hebben we de hoogwaardige pre-training datasets opgeschaald van de vorige 7 biljoen tokens naar 18 biljoen tokens. Dit biedt een sterke basis voor gezond verstand, expertkennis en redeneervermogen. Wat post-training betreft, passen we ingewikkelde begeleide fine-tuning toe met meer dan 1 miljoen voorbeelden, evenals meertraps versterkend leren. Post-training technieken verbeteren de menselijke voorkeur en verbeteren aanzienlijk de generatie van lange tekst, structurele data-analyse en het opvolgen van instructies. Om diverse en gevarieerde gebruiksscenario's effectief aan te pakken, presenteren we de Qwen2.5 LLM-serie in diverse groottes. Open-gewicht aanbiedingen omvatten basismodellen en instructie-aangepaste modellen, met beschikbare gekwantificeerde versies. Bovendien omvatten de gepatenteerde modellen momenteel twee varianten van mengmodellen van experts (MoE): Qwen2.5-Turbo en Qwen2.5-Plus, beide beschikbaar via Alibaba Cloud Model Studio. Qwen2.5 heeft eersteklas prestaties gedemonstreerd op een breed scala van benchmarks die taalbegrip, redeneren, wiskunde, coderen, afstemming van menselijke voorkeur, enz. evalueren. Specifiek presteert het open-gewicht vlaggenschip Qwen2.5-72B-Instruct beter dan een aantal open en gepatenteerde modellen en toont het een concurrerende prestatie ten opzichte van het state-of-the-art open-gewicht model, Llama-3-405B-Instruct, dat ongeveer 5 keer groter is. Qwen2.5-Turbo en Qwen2.5-Plus bieden superieure kosteneffectiviteit en presteren concurrerend ten opzichte van respectievelijk GPT-4o-mini en GPT-4o. Bovendien zijn de Qwen2.5-modellen als basis essentieel geweest bij het trainen van gespecialiseerde modellen zoals Qwen2.5-Math, Qwen2.5-Coder, QwQ, en multimodale modellen.

English

In this report, we introduce Qwen2.5, a comprehensive series of large language models (LLMs) designed to meet diverse needs. Compared to previous iterations, Qwen 2.5 has been significantly improved during both the pre-training and post-training stages. In terms of pre-training, we have scaled the high-quality pre-training datasets from the previous 7 trillion tokens to 18 trillion tokens. This provides a strong foundation for common sense, expert knowledge, and reasoning capabilities. In terms of post-training, we implement intricate supervised finetuning with over 1 million samples, as well as multistage reinforcement learning. Post-training techniques enhance human preference, and notably improve long text generation, structural data analysis, and instruction following. To handle diverse and varied use cases effectively, we present Qwen2.5 LLM series in rich sizes. Open-weight offerings include base and instruction-tuned models, with quantized versions available. In addition, for hosted solutions, the proprietary models currently include two mixture-of-experts (MoE) variants: Qwen2.5-Turbo and Qwen2.5-Plus, both available from Alibaba Cloud Model Studio. Qwen2.5 has demonstrated top-tier performance on a wide range of benchmarks evaluating language understanding, reasoning, mathematics, coding, human preference alignment, etc. Specifically, the open-weight flagship Qwen2.5-72B-Instruct outperforms a number of open and proprietary models and demonstrates competitive performance to the state-of-the-art open-weight model, Llama-3-405B-Instruct, which is around 5 times larger. Qwen2.5-Turbo and Qwen2.5-Plus offer superior cost-effectiveness while performing competitively against GPT-4o-mini and GPT-4o respectively. Additionally, as the foundation, Qwen2.5 models have been instrumental in training specialized models such as Qwen2.5-Math, Qwen2.5-Coder, QwQ, and multimodal models.