MinMo: Ein multimodales großes Sprachmodell für nahtlose Sprachinteraktion

MinMo: A Multimodal Large Language Model for Seamless Voice Interaction

January 10, 2025

Autoren: Qian Chen, Yafeng Chen, Yanni Chen, Mengzhe Chen, Yingda Chen, Chong Deng, Zhihao Du, Ruize Gao, Changfeng Gao, Zhifu Gao, Yabin Li, Xiang Lv, Jiaqing Liu, Haoneng Luo, Bin Ma, Chongjia Ni, Xian Shi, Jialong Tang, Hui Wang, Hao Wang, Wen Wang, Yuxuan Wang, Yunlan Xu, Fan Yu, Zhijie Yan, Yexin Yang, Baosong Yang, Xian Yang, Guanrou Yang, Tianyu Zhao, Qinglin Zhang, Shiliang Zhang, Nan Zhao, Pei Zhang, Chong Zhang, Jinren Zhou

cs.AI

Zusammenfassung

Die jüngsten Fortschritte bei großen Sprachmodellen (LLMs) und multimodalen Sprach-Text-Modellen haben die Grundlage für nahtlose Sprachinteraktionen geschaffen, die Echtzeit-, natürliche und menschenähnliche Gespräche ermöglichen. Frühere Modelle für Sprachinteraktionen werden als native und ausgerichtete Modelle kategorisiert. Native Modelle integrieren Sprach- und Textverarbeitung in einem Framework, haben jedoch Schwierigkeiten mit Problemen wie unterschiedlichen Sequenzlängen und unzureichendem Vor-Training. Ausgerichtete Modelle bewahren die Text-LLM-Fähigkeiten, sind jedoch oft durch kleine Datensätze und einen engen Fokus auf Sprachaufgaben begrenzt. In dieser Arbeit stellen wir MinMo vor, ein multimodales großes Sprachmodell mit etwa 8 Milliarden Parametern für nahtlose Sprachinteraktion. Wir adressieren die Hauptbeschränkungen früherer ausgerichteter multimodaler Modelle. Wir trainieren MinMo durch mehrere Phasen der Sprache-zu-Text-Ausrichtung, Text-zu-Sprache-Ausrichtung, Sprache-zu-Sprache-Ausrichtung und Duplex-Interaktionsausrichtung, auf 1,4 Millionen Stunden vielfältiger Sprachdaten und einer breiten Palette von Sprachaufgaben. Nach dem mehrstufigen Training erreicht MinMo Spitzenleistungen in verschiedenen Benchmarks für Sprachverständnis und -erzeugung, während es die Fähigkeiten von Text-LLMs beibehält und auch eine vollduplexfähige Konversation ermöglicht, d.h. simultane Zwei-Wege-Kommunikation zwischen Benutzer und System. Darüber hinaus schlagen wir einen neuartigen und einfachen Sprachdecoder vor, der frühere Modelle in der Spracherzeugung übertrifft. Die verbesserten Anweisungsfolgefähigkeiten von MinMo unterstützen die Steuerung der Spracherzeugung basierend auf Benutzeranweisungen, mit verschiedenen Nuancen einschließlich Emotionen, Dialekten und Sprechgeschwindigkeiten sowie dem Nachahmen spezifischer Stimmen. Für MinMo beträgt die Sprache-zu-Text-Latenz etwa 100ms, die vollduplexe Latenz beträgt theoretisch etwa 600ms und praktisch etwa 800ms. Die MinMo-Projektwebseite ist https://funaudiollm.github.io/minmo, und der Code sowie die Modelle werden bald veröffentlicht.

English

Recent advancements in large language models (LLMs) and multimodal speech-text models have laid the groundwork for seamless voice interactions, enabling real-time, natural, and human-like conversations. Previous models for voice interactions are categorized as native and aligned. Native models integrate speech and text processing in one framework but struggle with issues like differing sequence lengths and insufficient pre-training. Aligned models maintain text LLM capabilities but are often limited by small datasets and a narrow focus on speech tasks. In this work, we introduce MinMo, a Multimodal Large Language Model with approximately 8B parameters for seamless voice interaction. We address the main limitations of prior aligned multimodal models. We train MinMo through multiple stages of speech-to-text alignment, text-to-speech alignment, speech-to-speech alignment, and duplex interaction alignment, on 1.4 million hours of diverse speech data and a broad range of speech tasks. After the multi-stage training, MinMo achieves state-of-the-art performance across various benchmarks for voice comprehension and generation while maintaining the capabilities of text LLMs, and also facilitates full-duplex conversation, that is, simultaneous two-way communication between the user and the system. Moreover, we propose a novel and simple voice decoder that outperforms prior models in voice generation. The enhanced instruction-following capabilities of MinMo supports controlling speech generation based on user instructions, with various nuances including emotions, dialects, and speaking rates, and mimicking specific voices. For MinMo, the speech-to-text latency is approximately 100ms, full-duplex latency is approximately 600ms in theory and 800ms in practice. The MinMo project web page is https://funaudiollm.github.io/minmo, and the code and models will be released soon.