Ichigo: Gemengde-Modale Vroeg-Fusie Realtime Stemassistent

Ichigo: Mixed-Modal Early-Fusion Realtime Voice Assistant

October 20, 2024

Auteurs: Alan Dao, Dinh Bach Vu, Huy Hoang Ha

cs.AI

Samenvatting

Grote Taalmodellen (LLM's) hebben de verwerking van natuurlijke taal gerevolutioneerd, maar hun toepassing op spraakgebaseerde taken blijft uitdagend vanwege de complexiteit van het integreren van audio- en tekstmodaliteiten. Dit artikel introduceert Ichigo, een gemengd-modale model dat naadloos intermitterende sequenties van spraak en tekst verwerkt. Door gebruik te maken van een getokeniseerde early-fusion benadering, kwantificeert Ichigo spraak in discrete tokens en maakt gebruik van een uniforme op transformer gebaseerde architectuur voor zowel spraak als tekstmodaliteiten. Deze methode maakt gezamenlijke redenering en generatie over modaliteiten mogelijk zonder de noodzaak van aparte adapters. We presenteren een uitgebreide trainingsmethodologie, inclusief voorafgaande training op meertalige spraakherkenningsdatasets en fine-tuning op een samengestelde instructiedataset. Ichigo toont state-of-the-art prestaties op spraakvraag-antwoord benchmarks, presterend beter dan bestaande open-source spraaktaalmodellen en vergelijkbare resultaten behalend met cascadesystemen. Opmerkelijk is dat Ichigo een latentie vertoont van slechts 111 ms tot de eerste token-generatie, aanzienlijk lager dan bij huidige modellen. Onze benadering bevordert niet alleen het veld van multimodale AI, maar biedt ook een raamwerk voor kleinere onderzoeksteams om effectief bij te dragen aan open-source spraaktaalmodellen.

English

Large Language Models (LLMs) have revolutionized natural language processing, but their application to speech-based tasks remains challenging due to the complexities of integrating audio and text modalities. This paper introduces Ichigo, a mixed-modal model that seamlessly processes interleaved sequences of speech and text. Utilizing a tokenized early-fusion approach, Ichigo quantizes speech into discrete tokens and employs a uniform transformer-based architecture for both speech and text modalities. This method enables joint reasoning and generation across modalities without the need for separate adapters. We present a comprehensive training methodology, including pre-training on multilingual speech recognition datasets and fine-tuning on a curated instruction dataset. Ichigo demonstrates state-of-the-art performance on speech question-answering benchmarks, outperforming existing open-source speech language models and achieving comparable results to cascaded systems. Notably, Ichigo exhibits a latency of just 111 ms to first token generation, significantly lower than current models. Our approach not only advances the field of multimodal AI but also provides a framework for smaller research teams to contribute effectively to open-source speech-language models.