Adaptive Audio-Visuelle Spracherkennung mittels Matryoshka-basierter multimodaler LLMs

Adaptive Audio-Visual Speech Recognition via Matryoshka-Based Multimodal LLMs

March 9, 2025

Autoren: Umberto Cappellazzo, Minsu Kim, Stavros Petridis

cs.AI

Zusammenfassung

Audio-Visual Speech Recognition (AVSR) nutzt sowohl auditive als auch visuelle Modalitäten, um die Robustheit der Spracherkennung zu verbessern, insbesondere in lauten Umgebungen. Jüngste Fortschritte bei Large Language Models (LLMs) haben deren Wirksamkeit in der Spracherkennung, einschließlich AVSR, unter Beweis gestellt. Aufgrund der erheblichen Länge von Sprachrepräsentationen führt die direkte Integration mit LLMs jedoch zu hohen Rechenkosten. Bisherige Ansätze adressieren dies, indem Sprachrepräsentationen komprimiert werden, bevor sie in LLMs eingespeist werden. Höhere Kompressionsraten führen jedoch oft zu Leistungseinbußen, was einen Kompromiss zwischen Recheneffizienz und Erkennungsgenauigkeit erfordert. Um diese Herausforderung zu bewältigen, schlagen wir Llama-MTSK vor, das erste Matryoshka-basierte multimodale LLM für AVSR, das eine flexible Anpassung der Audio-Visual-Token-Zuweisung basierend auf spezifischen Rechenbeschränkungen ermöglicht, während gleichzeitig eine hohe Leistung erhalten bleibt. Unser Ansatz, inspiriert von Matryoshka Representation Learning, kodiert Audio-Visual-Repräsentationen in mehreren Granularitäten innerhalb eines einzigen Modells, wodurch die Notwendigkeit entfällt, separate Modelle für unterschiedliche Kompressionsstufen zu trainieren. Darüber hinaus führen wir drei LoRA-basierte Matryoshka-Strategien ein, die globale und skalen-spezifische LoRA-Module verwenden, um das LLM effizient zu feinabzustimmen. Umfangreiche Auswertungen auf den beiden größten AVSR-Datensätzen zeigen, dass Llama-MTSK state-of-the-art Ergebnisse erzielt und Modelle, die unabhängig bei festen Kompressionsstufen trainiert wurden, erreicht oder übertrifft.

English

Audio-Visual Speech Recognition (AVSR) leverages both audio and visual modalities to enhance speech recognition robustness, particularly in noisy environments. Recent advancements in Large Language Models (LLMs) have demonstrated their effectiveness in speech recognition, including AVSR. However, due to the significant length of speech representations, direct integration with LLMs imposes substantial computational costs. Prior approaches address this by compressing speech representations before feeding them into LLMs. However, higher compression ratios often lead to performance degradation, necessitating a trade-off between computational efficiency and recognition accuracy. To address this challenge, we propose Llama-MTSK, the first Matryoshka-based Multimodal LLM for AVSR, which enables flexible adaptation of the audio-visual token allocation based on specific computational constraints while preserving high performance. Our approach, inspired by Matryoshka Representation Learning, encodes audio-visual representations at multiple granularities within a single model, eliminating the need to train separate models for different compression levels. Moreover, to efficiently fine-tune the LLM, we introduce three LoRA-based Matryoshka strategies using global and scale-specific LoRA modules. Extensive evaluations on the two largest AVSR datasets demonstrate that Llama-MTSK achieves state-of-the-art results, matching or surpassing models trained independently at fixed compression levels.