AAD-LLM: Нейронное понимание аудиосцены на основе механизма внимания

AAD-LLM: Neural Attention-Driven Auditory Scene Understanding

February 24, 2025

Авторы: Xilin Jiang, Sukru Samet Dindar, Vishal Choudhari, Stephan Bickel, Ashesh Mehta, Guy M McKhann, Adeen Flinker, Daniel Friedman, Nima Mesgarani

cs.AI

Аннотация

Аудиторные базовые модели, включая крупные языковые модели (LLM) для обработки звука, обрабатывают все звуковые входные данные одинаково, независимо от восприятия слушателя. Однако человеческое слуховое восприятие избирательно по своей природе: слушатели фокусируются на конкретных говорящих, игнорируя других в сложных звуковых сценах. Существующие модели не учитывают эту избирательность, что ограничивает их способность генерировать ответы, соответствующие восприятию. Чтобы решить эту проблему, мы представляем Intention-Informed Auditory Scene Understanding (II-ASU) и Auditory Attention-Driven LLM (AAD-LLM) — прототипную систему, которая интегрирует сигналы мозга для определения внимания слушателя. AAD-LLM расширяет аудиторную LLM, включая записи внутричерепной электроэнцефалографии (iEEG) для декодирования того, на какого говорящего направлено внимание слушателя, и уточнения ответов соответственно. Модель сначала предсказывает активного говорящего на основе нейронной активности, а затем формирует ответы с учетом этого выявленного состояния внимания. Мы оцениваем AAD-LLM на задачах описания говорящего, транскрипции и извлечения речи, а также ответов на вопросы в сценариях с несколькими говорящими. Как объективные, так и субъективные оценки показывают улучшенное соответствие намерениям слушателя. Сделав первый шаг к созданию аудио-ИИ, учитывающего намерения, эта работа исследует новую парадигму, в которой восприятие слушателя информирует машинное слушание, прокладывая путь для будущих слушатель-ориентированных аудиторных систем. Демо и код доступны: https://aad-llm.github.io.

English

Auditory foundation models, including auditory large language models (LLMs), process all sound inputs equally, independent of listener perception. However, human auditory perception is inherently selective: listeners focus on specific speakers while ignoring others in complex auditory scenes. Existing models do not incorporate this selectivity, limiting their ability to generate perception-aligned responses. To address this, we introduce Intention-Informed Auditory Scene Understanding (II-ASU) and present Auditory Attention-Driven LLM (AAD-LLM), a prototype system that integrates brain signals to infer listener attention. AAD-LLM extends an auditory LLM by incorporating intracranial electroencephalography (iEEG) recordings to decode which speaker a listener is attending to and refine responses accordingly. The model first predicts the attended speaker from neural activity, then conditions response generation on this inferred attentional state. We evaluate AAD-LLM on speaker description, speech transcription and extraction, and question answering in multitalker scenarios, with both objective and subjective ratings showing improved alignment with listener intention. By taking a first step toward intention-aware auditory AI, this work explores a new paradigm where listener perception informs machine listening, paving the way for future listener-centered auditory systems. Demo and code available: https://aad-llm.github.io.