Qwen2.5-Omni Technischer Bericht

Qwen2.5-Omni Technical Report

March 26, 2025

Autoren: Jin Xu, Zhifang Guo, Jinzheng He, Hangrui Hu, Ting He, Shuai Bai, Keqin Chen, Jialin Wang, Yang Fan, Kai Dang, Bin Zhang, Xiong Wang, Yunfei Chu, Junyang Lin

cs.AI

Zusammenfassung

In diesem Bericht stellen wir Qwen2.5-Omni vor, ein end-to-end multimodales Modell, das darauf ausgelegt ist, verschiedene Modalitäten wie Text, Bilder, Audio und Video wahrzunehmen und gleichzeitig Text und natürliche Sprachantworten in einem Streaming-Verfahren zu generieren. Um das Streaming von multimodalen Informationsinputs zu ermöglichen, verwenden sowohl Audio- als auch visuelle Encoder einen blockweisen Verarbeitungsansatz. Um die Zeitstempel von Videoinputs mit Audio zu synchronisieren, organisieren wir Audio und Video sequenziell in einer verschachtelten Weise und schlagen einen neuartigen Positionierungs-Embedding-Ansatz vor, der als TMRoPE (Time-aligned Multimodal RoPE) bezeichnet wird. Um gleichzeitig Text und Sprache zu generieren und dabei Interferenzen zwischen den beiden Modalitäten zu vermeiden, schlagen wir die Thinker-Talker-Architektur vor. In diesem Framework fungiert Thinker als ein großes Sprachmodell, das für die Textgenerierung zuständig ist, während Talker ein dual-track autoregressives Modell ist, das direkt die verborgenen Repräsentationen des Thinkers nutzt, um Audio-Tokens als Ausgabe zu erzeugen. Sowohl das Thinker- als auch das Talker-Modell sind so konzipiert, dass sie end-to-end trainiert und inferiert werden können. Für das Decodieren von Audio-Tokens in einem Streaming-Verfahren führen wir ein Sliding-Window DiT ein, das das rezeptive Feld einschränkt, um die anfängliche Paketverzögerung zu reduzieren. Qwen2.5-Omni ist vergleichbar mit dem ähnlich großen Qwen2.5-VL und übertrifft Qwen2-Audio. Darüber hinaus erzielt Qwen2.5-Omni state-of-the-art Leistungen auf multimodalen Benchmarks wie Omni-Bench. Bemerkenswert ist, dass die Leistung von Qwen2.5-Omni bei der end-to-end Sprachbefolgung vergleichbar ist mit seinen Fähigkeiten bei Texteingaben, wie durch Benchmarks wie MMLU und GSM8K belegt wird. Was die Sprachgenerierung betrifft, übertrifft der Streaming-Talker von Qwen2.5-Omni die meisten bestehenden Streaming- und Nicht-Streaming-Alternativen in Bezug auf Robustheit und Natürlichkeit.

English

In this report, we present Qwen2.5-Omni, an end-to-end multimodal model designed to perceive diverse modalities, including text, images, audio, and video, while simultaneously generating text and natural speech responses in a streaming manner. To enable the streaming of multimodal information inputs, both audio and visual encoders utilize a block-wise processing approach. To synchronize the timestamps of video inputs with audio, we organize the audio and video sequentially in an interleaved manner and propose a novel position embedding approach, named TMRoPE(Time-aligned Multimodal RoPE). To concurrently generate text and speech while avoiding interference between the two modalities, we propose Thinker-Talker architecture. In this framework, Thinker functions as a large language model tasked with text generation, while Talker is a dual-track autoregressive model that directly utilizes the hidden representations from the Thinker to produce audio tokens as output. Both the Thinker and Talker models are designed to be trained and inferred in an end-to-end manner. For decoding audio tokens in a streaming manner, we introduce a sliding-window DiT that restricts the receptive field, aiming to reduce the initial package delay. Qwen2.5-Omni is comparable with the similarly sized Qwen2.5-VL and outperforms Qwen2-Audio. Furthermore, Qwen2.5-Omni achieves state-of-the-art performance on multimodal benchmarks like Omni-Bench. Notably, Qwen2.5-Omni's performance in end-to-end speech instruction following is comparable to its capabilities with text inputs, as evidenced by benchmarks such as MMLU and GSM8K. As for speech generation, Qwen2.5-Omni's streaming Talker outperforms most existing streaming and non-streaming alternatives in robustness and naturalness.