Whisper-GPT: Un Modello di Linguaggio Audio a Rappresentazione Ibrida di Grandi Dimensioni

Whisper-GPT: A Hybrid Representation Audio Large Language Model

December 16, 2024

Autori: Prateek Verma

cs.AI

Abstract

Proponiamo WHISPER-GPT: un modello linguistico generativo (LLM) di grandi dimensioni per il linguaggio parlato e la musica che ci consente di lavorare contemporaneamente con rappresentazioni audio continue e token discreti come parte di un'unica architettura. C'è stato un enorme aumento nei modelli generativi di audio, linguaggio parlato e musica che utilizzano token audio discreti derivati da algoritmi di compressione neurale, ad es. ENCODEC. Tuttavia, uno dei principali svantaggi di questo approccio è gestire la lunghezza del contesto. Esso aumenta notevolmente per un'architettura generativa ad alta fedeltà se si deve considerare tutti i contenuti audio a varie frequenze per la previsione del token successivo. Unendo la rappresentazione audio continua come lo spettrogramma e i token acustici discreti, manteniamo il meglio di entrambi i mondi: avere tutte le informazioni necessarie dall'audio in un istante temporale specifico in un singolo token, consentendo comunque al LLM di prevedere il token futuro per consentire il campionamento e altri vantaggi forniti dallo spazio discreto. Mostriamo come la nostra architettura migliori la perplessità e i punteggi di log-negativi per la previsione del token successivo rispetto a un LLM basato su token per il linguaggio parlato e la musica.

English

We propose WHISPER-GPT: A generative large language model (LLM) for speech and music that allows us to work with continuous audio representations and discrete tokens simultaneously as part of a single architecture. There has been a huge surge in generative audio, speech, and music models that utilize discrete audio tokens derived from neural compression algorithms, e.g. ENCODEC. However, one of the major drawbacks of this approach is handling the context length. It blows up for high-fidelity generative architecture if one has to account for all the audio contents at various frequencies for the next token prediction. By combining continuous audio representation like the spectrogram and discrete acoustic tokens, we retain the best of both worlds: Have all the information needed from the audio at a specific time instance in a single token, yet allow LLM to predict the future token to allow for sampling and other benefits discrete space provides. We show how our architecture improves the perplexity and negative log-likelihood scores for the next token prediction compared to a token-based LLM for speech and music.