Whisper-GPT: Un Modelo de Lenguaje Grande de Representación Híbrida de Audio

Whisper-GPT: A Hybrid Representation Audio Large Language Model

December 16, 2024

Autores: Prateek Verma

cs.AI

Resumen

Proponemos WHISPER-GPT: un modelo de lenguaje grande generativo (LLM, por sus siglas en inglés) para habla y música que nos permite trabajar con representaciones de audio continuas y tokens discretos simultáneamente como parte de una arquitectura única. Ha habido un gran aumento en modelos generativos de audio, habla y música que utilizan tokens de audio discretos derivados de algoritmos de compresión neuronal, por ejemplo, ENCODEC. Sin embargo, uno de los principales inconvenientes de este enfoque es el manejo de la longitud del contexto. Se vuelve inmanejable para una arquitectura generativa de alta fidelidad si se tiene que tener en cuenta todo el contenido de audio en varias frecuencias para la predicción del siguiente token. Al combinar una representación de audio continua como el espectrograma y tokens acústicos discretos, conservamos lo mejor de ambos mundos: tener toda la información necesaria del audio en un instante de tiempo específico en un solo token, pero permitir que el LLM prediga el token futuro para permitir el muestreo y otros beneficios que proporciona el espacio discreto. Mostramos cómo nuestra arquitectura mejora la perplejidad y los puntajes de probabilidad logarítmica negativa para la predicción del siguiente token en comparación con un LLM basado en tokens para habla y música.

English

We propose WHISPER-GPT: A generative large language model (LLM) for speech and music that allows us to work with continuous audio representations and discrete tokens simultaneously as part of a single architecture. There has been a huge surge in generative audio, speech, and music models that utilize discrete audio tokens derived from neural compression algorithms, e.g. ENCODEC. However, one of the major drawbacks of this approach is handling the context length. It blows up for high-fidelity generative architecture if one has to account for all the audio contents at various frequencies for the next token prediction. By combining continuous audio representation like the spectrogram and discrete acoustic tokens, we retain the best of both worlds: Have all the information needed from the audio at a specific time instance in a single token, yet allow LLM to predict the future token to allow for sampling and other benefits discrete space provides. We show how our architecture improves the perplexity and negative log-likelihood scores for the next token prediction compared to a token-based LLM for speech and music.