Mini-Omni2 : Vers un GPT-4o open-source avec des capacités de vision, de parole et de duplex

Mini-Omni2: Towards Open-source GPT-4o with Vision, Speech and Duplex Capabilities

October 15, 2024

Auteurs: Zhifei Xie, Changqiao Wu

cs.AI

Résumé

GPT-4o, un modèle tout-en-un, représente une étape importante dans le développement des grands modèles de langage multi-modaux. Il peut comprendre les modalités visuelles, auditives et textuelles, produire directement de l'audio et prendre en charge une interaction duplex flexible. Les modèles de la communauté open-source parviennent souvent à certaines fonctionnalités de GPT-4o, telles que la compréhension visuelle et les conversations vocales. Néanmoins, former un modèle unifié qui intègre toutes les modalités est difficile en raison des complexités des données multi-modales, des architectures de modèle complexes et des processus de formation. Dans cet article, nous présentons Mini-Omni2, un assistant visuel-audio capable de fournir des réponses vocales en temps réel de bout en bout aux requêtes visuelles et audio. En intégrant des codeurs visuels et auditifs pré-entraînés, Mini-Omni2 maintient les performances dans les modalités individuelles. Nous proposons un processus de formation en trois étapes pour aligner les modalités, permettant au modèle de langage de gérer les entrées et sorties multi-modales après la formation sur un ensemble de données limité. Pour l'interaction, nous introduisons un mécanisme d'interruption basé sur des commandes, permettant une interaction plus flexible avec les utilisateurs. À notre connaissance, Mini-Omni2 est l'une des reproductions les plus proches de GPT-4o, qui ont une forme similaire de fonctionnalité, et nous espérons qu'il pourra offrir des perspectives précieuses pour les recherches ultérieures.

English

GPT-4o, an all-encompassing model, represents a milestone in the development of large multi-modal language models. It can understand visual, auditory, and textual modalities, directly output audio, and support flexible duplex interaction. Models from the open-source community often achieve some functionalities of GPT-4o, such as visual understanding and voice chat. Nevertheless, training a unified model that incorporates all modalities is challenging due to the complexities of multi-modal data, intricate model architectures, and training processes. In this paper, we introduce Mini-Omni2, a visual-audio assistant capable of providing real-time, end-to-end voice responses to visoin and audio queries. By integrating pretrained visual and auditory encoders, Mini-Omni2 maintains performance in individual modalities. We propose a three-stage training process to align modalities, allowing the language model to handle multi-modal inputs and outputs after training on a limited dataset. For interaction, we introduce a command-based interruption mechanism, enabling more flexible interaction with users. To the best of our knowledge, Mini-Omni2 is one of the closest reproductions of GPT-4o, which have similar form of functionality, and we hope it can offer valuable insights for subsequent research.