Mini-Omni2: Auf dem Weg zu einer Open-Source-Version von GPT-4o mit Seh-, Sprach- und Duplex-Fähigkeiten

Mini-Omni2: Towards Open-source GPT-4o with Vision, Speech and Duplex Capabilities

October 15, 2024

Autoren: Zhifei Xie, Changqiao Wu

cs.AI

Zusammenfassung

GPT-4o, ein umfassendes Modell, stellt einen Meilenstein in der Entwicklung großer multimodaler Sprachmodelle dar. Es kann visuelle, auditive und textuelle Modalitäten verstehen, direkt Audio ausgeben und flexible Duplex-Interaktion unterstützen. Modelle aus der Open-Source-Community erreichen oft einige Funktionalitäten von GPT-4o, wie visuelles Verständnis und Sprachchat. Dennoch ist das Training eines vereinheitlichten Modells, das alle Modalitäten integriert, aufgrund der Komplexitäten multimodaler Daten, komplexer Modellarchitekturen und Trainingsprozesse herausfordernd. In diesem Paper stellen wir Mini-Omni2 vor, einen visuell-auditiven Assistenten, der in der Lage ist, Echtzeit-End-to-End-Sprachantworten auf visuelle und auditive Anfragen zu liefern. Durch die Integration vortrainierter visueller und auditiver Encoder behält Mini-Omni2 die Leistung in den einzelnen Modalitäten bei. Wir schlagen einen dreistufigen Trainingsprozess vor, um Modalitäten abzustimmen, was dem Sprachmodell ermöglicht, multimodale Eingaben und Ausgaben nach dem Training auf einem begrenzten Datensatz zu verarbeiten. Für die Interaktion führen wir einen Befehlsbasierten Unterbrechungsmechanismus ein, der eine flexiblere Interaktion mit Benutzern ermöglicht. Nach unserem Kenntnisstand ist Mini-Omni2 eine der engsten Reproduktionen von GPT-4o, die eine ähnliche Form der Funktionalität aufweisen, und wir hoffen, dass es wertvolle Einblicke für nachfolgende Forschungen bieten kann.

English

GPT-4o, an all-encompassing model, represents a milestone in the development of large multi-modal language models. It can understand visual, auditory, and textual modalities, directly output audio, and support flexible duplex interaction. Models from the open-source community often achieve some functionalities of GPT-4o, such as visual understanding and voice chat. Nevertheless, training a unified model that incorporates all modalities is challenging due to the complexities of multi-modal data, intricate model architectures, and training processes. In this paper, we introduce Mini-Omni2, a visual-audio assistant capable of providing real-time, end-to-end voice responses to visoin and audio queries. By integrating pretrained visual and auditory encoders, Mini-Omni2 maintains performance in individual modalities. We propose a three-stage training process to align modalities, allowing the language model to handle multi-modal inputs and outputs after training on a limited dataset. For interaction, we introduce a command-based interruption mechanism, enabling more flexible interaction with users. To the best of our knowledge, Mini-Omni2 is one of the closest reproductions of GPT-4o, which have similar form of functionality, and we hope it can offer valuable insights for subsequent research.