Technisch Rapport Qwen2.5-1M

Qwen2.5-1M Technical Report

January 26, 2025

Auteurs: An Yang, Bowen Yu, Chengyuan Li, Dayiheng Liu, Fei Huang, Haoyan Huang, Jiandong Jiang, Jianhong Tu, Jianwei Zhang, Jingren Zhou, Junyang Lin, Kai Dang, Kexin Yang, Le Yu, Mei Li, Minmin Sun, Qin Zhu, Rui Men, Tao He, Weijia Xu, Wenbiao Yin, Wenyuan Yu, Xiafei Qiu, Xingzhang Ren, Xinlong Yang, Yong Li, Zhiying Xu, Zipeng Zhang

cs.AI

Samenvatting

We introduceren Qwen2.5-1M, een reeks modellen die de contextlengte uitbreiden naar 1 miljoen tokens. Vergeleken met de vorige 128K-versie hebben de Qwen2.5-1M-modellen aanzienlijk verbeterde mogelijkheden voor lange contexten door lang-context voorafgaande training en nascholing. Belangrijke technieken zoals langdatasynthese, progressieve voorafgaande training en meertraps begeleid fijnafstemmen worden gebruikt om effectief de prestaties van lange contexten te verbeteren terwijl de trainingskosten worden verlaagd. Om het gebruik van modellen met lange contexten onder een breder gebruikerspubliek te bevorderen, presenteren we en stellen we onze inferentiekader open-source beschikbaar. Dit kader omvat een lengte-extrapolatiemethode die de modelcontextlengtes met minstens vier keer, of zelfs meer, kan uitbreiden zonder extra training. Om inferentiekosten te verlagen, implementeren we een schaarse aandachtmethode samen met geoptimaliseerde vooraf invullen in stukken voor implementatiescenario's en een methode voor schaarste-verfijning om de precisie te verbeteren. Daarnaast beschrijven we onze optimalisaties in de inferentiemotor, inclusief kerneloptimalisatie, pijplijnparallelisme en planningsoptimalisatie, die de algehele inferentieprestaties aanzienlijk verbeteren. Door gebruik te maken van ons inferentiekader behalen de Qwen2.5-1M-modellen een opmerkelijke 3x tot 7x versnelling van het voorinvullen in scenario's met 1 miljoen tokens aan context. Dit kader biedt een efficiënte en krachtige oplossing voor het ontwikkelen van toepassingen die lange-contextverwerking vereisen met open-source modellen. De Qwen2.5-1M-serie omvat momenteel de open-source modellen Qwen2.5-7B-Instruct-1M en Qwen2.5-14B-Instruct-1M, evenals het via API toegankelijke model Qwen2.5-Turbo. Evaluaties tonen aan dat Qwen2.5-1M-modellen aanzienlijk zijn verbeterd in taken met lange contexten zonder de prestaties in scenario's met korte contexten in gevaar te brengen. Specifiek presteert het Qwen2.5-14B-Instruct-1M-model aanzienlijk beter dan GPT-4o-mini in taken met lange contexten en ondersteunt contexten die acht keer langer zijn.

English

We introduce Qwen2.5-1M, a series of models that extend the context length to 1 million tokens. Compared to the previous 128K version, the Qwen2.5-1M series have significantly enhanced long-context capabilities through long-context pre-training and post-training. Key techniques such as long data synthesis, progressive pre-training, and multi-stage supervised fine-tuning are employed to effectively enhance long-context performance while reducing training costs. To promote the use of long-context models among a broader user base, we present and open-source our inference framework. This framework includes a length extrapolation method that can expand the model context lengths by at least four times, or even more, without additional training. To reduce inference costs, we implement a sparse attention method along with chunked prefill optimization for deployment scenarios and a sparsity refinement method to improve precision. Additionally, we detail our optimizations in the inference engine, including kernel optimization, pipeline parallelism, and scheduling optimization, which significantly enhance overall inference performance. By leveraging our inference framework, the Qwen2.5-1M models achieve a remarkable 3x to 7x prefill speedup in scenarios with 1 million tokens of context. This framework provides an efficient and powerful solution for developing applications that require long-context processing using open-source models. The Qwen2.5-1M series currently includes the open-source models Qwen2.5-7B-Instruct-1M and Qwen2.5-14B-Instruct-1M, as well as the API-accessed model Qwen2.5-Turbo. Evaluations show that Qwen2.5-1M models have been greatly improved in long-context tasks without compromising performance in short-context scenarios. Specifically, the Qwen2.5-14B-Instruct-1M model significantly outperforms GPT-4o-mini in long-context tasks and supports contexts eight times longer.