Qwen2.5 テクニカルレポート

Qwen2.5 Technical Report

December 19, 2024

著者: Qwen, An Yang, Baosong Yang, Beichen Zhang, Binyuan Hui, Bo Zheng, Bowen Yu, Chengyuan Li, Dayiheng Liu, Fei Huang, Haoran Wei, Huan Lin, Jian Yang, Jianhong Tu, Jianwei Zhang, Jianxin Yang, Jiaxi Yang, Jingren Zhou, Junyang Lin, Kai Dang, Keming Lu, Keqin Bao, Kexin Yang, Le Yu, Mei Li, Mingfeng Xue, Pei Zhang, Qin Zhu, Rui Men, Runji Lin, Tianhao Li, Tingyu Xia, Xingzhang Ren, Xuancheng Ren, Yang Fan, Yang Su, Yichang Zhang, Yu Wan, Yuqiong Liu, Zeyu Cui, Zhenru Zhang, Zihan Qiu

cs.AI

要旨

このレポートでは、多様なニーズに対応するよう設計された包括的な大規模言語モデル（LLM）シリーズであるQwen2.5を紹介します。以前のバージョンと比較して、Qwen 2.5は事前トレーニングおよび事後トレーニングの両段階で大幅に改善されています。事前トレーニングに関しては、以前の7兆トークンから18兆トークンの高品質事前トレーニングデータセットをスケーリングしています。これにより、常識、専門知識、および推論能力に強固な基盤が提供されます。事後トレーニングに関しては、100万以上のサンプルを用いた入念な教師付きファインチューニングと、多段階の強化学習を実装しています。事後トレーニング技術は人間の選好を向上させ、長文生成、構造化データ解析、および指示に従う能力を顕著に向上させます。多様で異なるユースケースを効果的に処理するために、豊富なサイズでQwen2.5 LLMシリーズを提供しています。オープンウェイトの提供には、ベースモデルと指示に調整されたモデルが含まれ、量子化されたバージョンも利用可能です。また、ホストされるソリューション向けに、独自のモデルには現在、2つのエキスパートの混合（MoE）バリアントが含まれており、それぞれQwen2.5-TurboとQwen2.5-PlusがAlibaba Cloud Model Studioから利用可能です。Qwen2.5は、言語理解、推論、数学、コーディング、人間の選好調整などを評価する幅広いベンチマークでトップクラスのパフォーマンスを発揮しています。特に、オープンウェイトのフラッグシップであるQwen2.5-72B-Instructは、いくつかのオープンソースおよび独自のモデルを凌駕し、約5倍大きい最先端のオープンウェイトモデルであるLlama-3-405B-Instructと競争力のあるパフォーマンスを示しています。Qwen2.5-TurboとQwen2.5-Plusは、GPT-4o-miniおよびGPT-4oとそれぞれ競争力のあるコスト効率を提供しています。さらに、基盤として、Qwen2.5モデルはQwen2.5-Math、Qwen2.5-Coder、QwQ、およびマルチモーダルモデルのトレーニングにおいて重要な役割を果たしています。

English

In this report, we introduce Qwen2.5, a comprehensive series of large language models (LLMs) designed to meet diverse needs. Compared to previous iterations, Qwen 2.5 has been significantly improved during both the pre-training and post-training stages. In terms of pre-training, we have scaled the high-quality pre-training datasets from the previous 7 trillion tokens to 18 trillion tokens. This provides a strong foundation for common sense, expert knowledge, and reasoning capabilities. In terms of post-training, we implement intricate supervised finetuning with over 1 million samples, as well as multistage reinforcement learning. Post-training techniques enhance human preference, and notably improve long text generation, structural data analysis, and instruction following. To handle diverse and varied use cases effectively, we present Qwen2.5 LLM series in rich sizes. Open-weight offerings include base and instruction-tuned models, with quantized versions available. In addition, for hosted solutions, the proprietary models currently include two mixture-of-experts (MoE) variants: Qwen2.5-Turbo and Qwen2.5-Plus, both available from Alibaba Cloud Model Studio. Qwen2.5 has demonstrated top-tier performance on a wide range of benchmarks evaluating language understanding, reasoning, mathematics, coding, human preference alignment, etc. Specifically, the open-weight flagship Qwen2.5-72B-Instruct outperforms a number of open and proprietary models and demonstrates competitive performance to the state-of-the-art open-weight model, Llama-3-405B-Instruct, which is around 5 times larger. Qwen2.5-Turbo and Qwen2.5-Plus offer superior cost-effectiveness while performing competitively against GPT-4o-mini and GPT-4o respectively. Additionally, as the foundation, Qwen2.5 models have been instrumental in training specialized models such as Qwen2.5-Math, Qwen2.5-Coder, QwQ, and multimodal models.