Wegwijzer naar Superieure Spraakbegrip met behulp van Grote Taalmodellen

Roadmap towards Superhuman Speech Understanding using Large Language Models

October 17, 2024

Auteurs: Fan Bu, Yuhao Zhang, Xidong Wang, Benyou Wang, Qun Liu, Haizhou Li

cs.AI

Samenvatting

Het succes van grote taalmodellen (LLM's) heeft inspanningen aangewakkerd om spraak- en audiogegevens te integreren, met als doel algemene basismodellen te creëren die in staat zijn zowel tekstuele als niet-tekstuele invoer te verwerken. Recente ontwikkelingen, zoals GPT-4o, benadrukken het potentieel voor end-to-end spraak-LLM's, die niet-semantische informatie en wereldkennis behouden voor dieper begrip van spraak. Om de ontwikkeling van spraak-LLM's te sturen, stellen we een vijf niveaus roadmap voor, variërend van basis automatische spraakherkenning (ASR) tot geavanceerde superieure modellen die in staat zijn niet-semantische informatie te integreren met abstracte akoestische kennis voor complexe taken. Bovendien ontwerpen we een benchmark, SAGI Benchmark, die kritieke aspecten standaardiseert over verschillende taken in deze vijf niveaus, waarbij uitdagingen worden blootgelegd bij het gebruik van abstracte akoestische kennis en de volledigheid van capaciteit. Onze bevindingen onthullen hiaten in het omgaan met paralinguïstische aanwijzingen en abstracte akoestische kennis, en we bieden toekomstige richtingen aan. Dit artikel schetst een roadmap voor het bevorderen van spraak-LLM's, introduceert een benchmark voor evaluatie, en biedt belangrijke inzichten in hun huidige beperkingen en potentieel.

English

The success of large language models (LLMs) has prompted efforts to integrate speech and audio data, aiming to create general foundation models capable of processing both textual and non-textual inputs. Recent advances, such as GPT-4o, highlight the potential for end-to-end speech LLMs, which preserves non-semantic information and world knowledge for deeper speech understanding. To guide the development of speech LLMs, we propose a five-level roadmap, ranging from basic automatic speech recognition (ASR) to advanced superhuman models capable of integrating non-semantic information with abstract acoustic knowledge for complex tasks. Moreover, we design a benchmark, SAGI Bechmark, that standardizes critical aspects across various tasks in these five levels, uncovering challenges in using abstract acoustic knowledge and completeness of capability. Our findings reveal gaps in handling paralinguistic cues and abstract acoustic knowledge, and we offer future directions. This paper outlines a roadmap for advancing speech LLMs, introduces a benchmark for evaluation, and provides key insights into their current limitations and potential.