LLMVoX: Autoregressives Streaming-Text-zu-Sprache-Modell für beliebige LLMs

LLMVoX: Autoregressive Streaming Text-to-Speech Model for Any LLM

March 6, 2025

Autoren: Sambal Shikhar, Mohammed Irfan Kurpath, Sahal Shaji Mullappilly, Jean Lahoud, Fahad Khan, Rao Muhammad Anwer, Salman Khan, Hisham Cholakkal

cs.AI

Zusammenfassung

Jüngste Fortschritte in Sprach-zu-Sprach-Dialogsystemen nutzen LLMs für multimodale Interaktionen, bleiben jedoch durch Anforderungen an Feinabstimmung, hohen Rechenaufwand und Text-Sprach-Fehlausrichtung eingeschränkt. Bestehende sprachfähige LLMs beeinträchtigen oft die Gesprächsqualität, indem sie die LLM modifizieren und dadurch deren linguistische Fähigkeiten kompromittieren. Im Gegensatz dazu schlagen wir LLMVoX vor, ein leichtgewichtiges, LLM-agnostisches, autoregressives Streaming-TTS-System mit 30M Parametern, das hochwertige Sprache mit geringer Latenz erzeugt und dabei die Fähigkeiten der Basis-LLM vollständig bewahrt. Unser Ansatz erreicht eine signifikant niedrigere Wortfehlerrate im Vergleich zu sprachfähigen LLMs, bei vergleichbarer Latenz und UTMOS-Bewertung. Durch die Entkopplung der Sprachsynthese von der LLM-Verarbeitung mittels eines Multi-Queue-Token-Streaming-Systems unterstützt LLMVoX nahtlose, unendlich lange Dialoge. Sein Plug-and-Play-Design erleichtert auch die Erweiterung auf verschiedene Aufgaben mit unterschiedlichen Backbones. Darüber hinaus generalisiert LLMVoX auf neue Sprachen mit nur geringer Datensatzanpassung und erreicht eine niedrige Zeichenfehlerrate in einer arabischen Sprachaufgabe. Zusätzlich haben wir LLMVoX mit einem Vision-Language-Modell integriert, um ein Omni-Modell mit Sprach-, Text- und Bildfähigkeiten zu schaffen, ohne zusätzliches multimodales Training zu benötigen. Unsere Codebasis und Projektseite ist verfügbar unter https://mbzuai-oryx.github.io/LLMVoX.

English

Recent advancements in speech-to-speech dialogue systems leverage LLMs for multimodal interactions, yet they remain hindered by fine-tuning requirements, high computational overhead, and text-speech misalignment. Existing speech-enabled LLMs often degrade conversational quality by modifying the LLM, thereby compromising its linguistic capabilities. In contrast, we propose LLMVoX, a lightweight 30M-parameter, LLM-agnostic, autoregressive streaming TTS system that generates high-quality speech with low latency, while fully preserving the capabilities of the base LLM. Our approach achieves a significantly lower Word Error Rate compared to speech-enabled LLMs, while operating at comparable latency and UTMOS score. By decoupling speech synthesis from LLM processing via a multi-queue token streaming system, LLMVoX supports seamless, infinite-length dialogues. Its plug-and-play design also facilitates extension to various tasks with different backbones. Furthermore, LLMVoX generalizes to new languages with only dataset adaptation, attaining a low Character Error Rate on an Arabic speech task. Additionally, we have integrated LLMVoX with a Vision-Language Model to create an omni-model with speech, text, and vision capabilities, without requiring additional multimodal training. Our code base and project page is available at https://mbzuai-oryx.github.io/LLMVoX .