Audio Flamingo 2: Аудио-языковая модель с возможностью понимания длинных аудиозаписей и экспертного анализа

Audio Flamingo 2: An Audio-Language Model with Long-Audio Understanding and Expert Reasoning Abilities

March 6, 2025

Авторы: Sreyan Ghosh, Zhifeng Kong, Sonal Kumar, S Sakshi, Jaehyeon Kim, Wei Ping, Rafael Valle, Dinesh Manocha, Bryan Catanzaro

cs.AI

Аннотация

Понимание и рассуждение о неречевых звуках и музыке имеют решающее значение как для людей, так и для ИИ-агентов для эффективного взаимодействия с окружающей средой. В данной статье мы представляем Audio Flamingo 2 (AF2), аудио-языковую модель (ALM) с расширенными возможностями понимания и анализа звука. AF2 использует (i) специализированную модель CLAP, (ii) синтетические данные Audio QA для детального анализа звука и (iii) многоэтапную стратегию обучения по учебному плану. AF2 демонстрирует передовые результаты, используя всего лишь небольшую языковую модель с 3 миллиардами параметров, превосходя крупные открытые и проприетарные модели более чем на 20 бенчмарках. Далее, впервые мы расширяем понимание звука на длинные аудиофрагменты (от 30 секунд до 5 минут) и предлагаем LongAudio, новый и масштабный набор данных для обучения ALM на задачах описания и ответов на вопросы по длинным аудиозаписям. Тонкая настройка AF2 на LongAudio приводит к выдающимся результатам на нашем предложенном LongAudioBench, экспертно аннотированном бенчмарке для оценки способностей ALM к пониманию длинных аудиозаписей. Мы проводим обширные исследования с исключением компонентов, чтобы подтвердить эффективность нашего подхода. Сайт проекта: https://research.nvidia.com/labs/adlr/AF2/.

English

Understanding and reasoning over non-speech sounds and music are crucial for both humans and AI agents to interact effectively with their environments. In this paper, we introduce Audio Flamingo 2 (AF2), an Audio-Language Model (ALM) with advanced audio understanding and reasoning capabilities. AF2 leverages (i) a custom CLAP model, (ii) synthetic Audio QA data for fine-grained audio reasoning, and (iii) a multi-stage curriculum learning strategy. AF2 achieves state-of-the-art performance with only a 3B parameter small language model, surpassing large open-source and proprietary models across over 20 benchmarks. Next, for the first time, we extend audio understanding to long audio segments (30 secs to 5 mins) and propose LongAudio, a large and novel dataset for training ALMs on long audio captioning and question-answering tasks. Fine-tuning AF2 on LongAudio leads to exceptional performance on our proposed LongAudioBench, an expert annotated benchmark for evaluating ALMs on long audio understanding capabilities. We conduct extensive ablation studies to confirm the efficacy of our approach. Project Website: https://research.nvidia.com/labs/adlr/AF2/.