이치고: 혼합 모달 초기 퓨전 실시간 음성 어시스턴트

Ichigo: Mixed-Modal Early-Fusion Realtime Voice Assistant

October 20, 2024

저자: Alan Dao, Dinh Bach Vu, Huy Hoang Ha

cs.AI

초록

대규모 언어 모델(LLMs)은 자연어 처리를 혁신적으로 바꿨지만, 음성 기반 작업에 적용하는 것은 오디오와 텍스트 모드의 복잡성 때문에 여전히 어려움이 남아 있습니다. 본 논문은 Ichigo를 소개하는데, 이는 음성과 텍스트의 교차된 순서열을 매끄럽게 처리하는 혼합 모달 모델입니다. 토큰화된 초기 융합 접근 방식을 활용하여 Ichigo는 음성을 이산 토큰으로 양자화하고 음성과 텍스트 모드 모두에 대해 균일한 트랜스포머 기반 아키텍처를 사용합니다. 이 방법은 별도의 어댑터 없이 모드 간의 공동 추론과 생성을 가능하게 합니다. 우리는 다국어 음성 인식 데이터셋에서 사전 훈련하고 정돈된 지시 데이터셋에서 세밀한 조정을 통해 포괄적인 훈련 방법론을 제시합니다. Ichigo는 음성 질의응답 벤치마크에서 최첨단 성능을 보여주며, 기존 오픈 소스 음성 언어 모델을 능가하고 연쇄 시스템과 유사한 결과를 달성합니다. 특히, Ichigo는 첫 번째 토큰 생성까지 단지 111ms의 대기 시간을 보여 현재 모델보다 훨씬 낮습니다. 우리의 접근 방식은 다모달 인공지능 분야를 발전시키는 데 그치지 않고, 작은 연구 팀이 오픈 소스 음성 언어 모델에 효과적으로 기여할 수 있는 프레임워크를 제공합니다.

English

Large Language Models (LLMs) have revolutionized natural language processing, but their application to speech-based tasks remains challenging due to the complexities of integrating audio and text modalities. This paper introduces Ichigo, a mixed-modal model that seamlessly processes interleaved sequences of speech and text. Utilizing a tokenized early-fusion approach, Ichigo quantizes speech into discrete tokens and employs a uniform transformer-based architecture for both speech and text modalities. This method enables joint reasoning and generation across modalities without the need for separate adapters. We present a comprehensive training methodology, including pre-training on multilingual speech recognition datasets and fine-tuning on a curated instruction dataset. Ichigo demonstrates state-of-the-art performance on speech question-answering benchmarks, outperforming existing open-source speech language models and achieving comparable results to cascaded systems. Notably, Ichigo exhibits a latency of just 111 ms to first token generation, significantly lower than current models. Our approach not only advances the field of multimodal AI but also provides a framework for smaller research teams to contribute effectively to open-source speech-language models.