Берегитесь пробела! Статическая и интерактивная оценка больших аудиомоделей

Mind the Gap! Static and Interactive Evaluations of Large Audio Models

February 21, 2025

Авторы: Minzhi Li, William Barr Held, Michael J Ryan, Kunat Pipatanakul, Potsawee Manakul, Hao Zhu, Diyi Yang

cs.AI

Аннотация

Поскольку искусственные интеллектом чат-боты становятся все более распространенными, голосовое взаимодействие представляет собой убедительный способ обеспечить быструю, высокоскоростную коммуникацию как для семантических, так и для социальных сигналов. Это побудило исследования в области Больших Аудиомоделей (Large Audio Models, LAMs) для создания голосовых пользовательских интерфейсов. Однако для успешного развития LAM необходимо четкое понимание потребностей и предпочтений пользователей для установления надежных метрик прогресса. Данное исследование решает эти проблемы, предлагая интерактивный подход к оценке LAM и собрав 7 500 взаимодействий с LAM от 484 участников. Путем тематического моделирования пользовательских запросов мы выявляем основные сценарии использования аудиоинтерфейсов. Затем мы анализируем предпочтения пользователей и качественную обратную связь, чтобы определить, какие модели наилучшим образом соответствуют потребностям пользователей. Наконец, мы оцениваем, насколько статические бенчмарки предсказывают интерактивную производительность - наш анализ показывает, что ни один отдельный бенчмарк не сильно коррелирует с интерактивными результатами (tau ≤ 0.33 для всех бенчмарков). Хотя комбинация нескольких грубых признаков дает умеренную предсказательную силу (R^2=0.30), лишь два из двадцати наборов данных по ответам на устные вопросы и предсказанию возраста показывают значительно положительные корреляции. Это указывает на явную необходимость разработки оценок LAM, которые лучше коррелируют с предпочтениями пользователей.

English

As AI chatbots become ubiquitous, voice interaction presents a compelling way to enable rapid, high-bandwidth communication for both semantic and social signals. This has driven research into Large Audio Models (LAMs) to power voice-native experiences. However, aligning LAM development with user goals requires a clear understanding of user needs and preferences to establish reliable progress metrics. This study addresses these challenges by introducing an interactive approach to evaluate LAMs and collecting 7,500 LAM interactions from 484 participants. Through topic modeling of user queries, we identify primary use cases for audio interfaces. We then analyze user preference rankings and qualitative feedback to determine which models best align with user needs. Finally, we evaluate how static benchmarks predict interactive performance - our analysis reveals no individual benchmark strongly correlates with interactive results (tau leq 0.33 for all benchmarks). While combining multiple coarse-grained features yields modest predictive power (R^2=0.30), only two out of twenty datasets on spoken question answering and age prediction show significantly positive correlations. This suggests a clear need to develop LAM evaluations that better correlate with user preferences.