Mini-Omni2: Naar Open-source GPT-4o met Visie, Spraak en Duplex-mogelijkheden

Mini-Omni2: Towards Open-source GPT-4o with Vision, Speech and Duplex Capabilities

October 15, 2024

Auteurs: Zhifei Xie, Changqiao Wu

cs.AI

Samenvatting

GPT-4o, een allesomvattend model, vertegenwoordigt een mijlpaal in de ontwikkeling van grote multimodale taalmodellen. Het kan visuele, auditieve en tekstuele modaliteiten begrijpen, direct audio uitvoeren en flexibele duplexinteractie ondersteunen. Modellen uit de open-source gemeenschap bereiken vaak enkele functionaliteiten van GPT-4o, zoals visueel begrip en spraakchat. Desalniettemin is het uitdagend om een verenigd model te trainen dat alle modaliteiten omvat vanwege de complexiteit van multimodale data, ingewikkelde modelarchitecturen en trainingsprocessen. In dit artikel introduceren we Mini-Omni2, een visueel-audio assistent die in staat is om real-time, end-to-end spraakreacties te geven op visuele en auditieve vragen. Door vooraf getrainde visuele en auditieve encoders te integreren, behoudt Mini-Omni2 prestaties in individuele modaliteiten. We stellen een drie-fasen trainingsproces voor om modaliteiten af te stemmen, waardoor het taalmodel na training op een beperkt dataset multimodale invoer en uitvoer kan verwerken. Voor interactie introduceren we een opdrachtgebaseerd onderbrekingsmechanisme, waardoor meer flexibele interactie met gebruikers mogelijk is. Voor zover wij weten, is Mini-Omni2 een van de meest nauwkeurige reproducties van GPT-4o, met vergelijkbare functionaliteit, en we hopen dat het waardevolle inzichten kan bieden voor toekomstig onderzoek.

English

GPT-4o, an all-encompassing model, represents a milestone in the development of large multi-modal language models. It can understand visual, auditory, and textual modalities, directly output audio, and support flexible duplex interaction. Models from the open-source community often achieve some functionalities of GPT-4o, such as visual understanding and voice chat. Nevertheless, training a unified model that incorporates all modalities is challenging due to the complexities of multi-modal data, intricate model architectures, and training processes. In this paper, we introduce Mini-Omni2, a visual-audio assistant capable of providing real-time, end-to-end voice responses to visoin and audio queries. By integrating pretrained visual and auditory encoders, Mini-Omni2 maintains performance in individual modalities. We propose a three-stage training process to align modalities, allowing the language model to handle multi-modal inputs and outputs after training on a limited dataset. For interaction, we introduce a command-based interruption mechanism, enabling more flexible interaction with users. To the best of our knowledge, Mini-Omni2 is one of the closest reproductions of GPT-4o, which have similar form of functionality, and we hope it can offer valuable insights for subsequent research.