Rendu volumique acoustique pour les champs de réponse d'impulsions neurales

Acoustic Volume Rendering for Neural Impulse Response Fields

November 9, 2024

Auteurs: Zitong Lan, Chenhao Zheng, Zhiwei Zheng, Mingmin Zhao

cs.AI

Résumé

La synthèse audio réaliste qui capture de manière précise les phénomènes acoustiques est essentielle pour créer des expériences immersives en réalité virtuelle et augmentée. La synthèse du son reçu en tout point repose sur l'estimation de la réponse impulsionnelle (RI), qui caractérise comment le son se propage dans une scène le long de différents chemins avant d'arriver à la position de l'auditeur. Dans cet article, nous présentons le Rendu de Volume Acoustique (AVR), une approche novatrice qui adapte les techniques de rendu de volume pour modéliser les réponses impulsionnelles acoustiques. Alors que le rendu de volume a été couronné de succès dans la modélisation des champs de radiance pour les images et les représentations de scènes neuronales, les RI présentent des défis uniques en tant que signaux temporels. Pour relever ces défis, nous introduisons le rendu de volume dans le domaine fréquentiel et utilisons l'intégration sphérique pour ajuster les mesures de RI. Notre méthode construit un champ de réponse impulsionnelle qui encode intrinsèquement les principes de propagation des ondes et atteint des performances de pointe dans la synthèse des réponses impulsionnelles pour des poses nouvelles. Les expériences montrent que l'AVR surpasse de manière significative les méthodes actuelles leaders. De plus, nous avons développé une plateforme de simulation acoustique, AcoustiX, qui fournit des simulations de RI plus précises et réalistes que les simulateurs existants. Le code pour l'AVR et AcoustiX est disponible sur https://zitonglan.github.io/avr.

English

Realistic audio synthesis that captures accurate acoustic phenomena is essential for creating immersive experiences in virtual and augmented reality. Synthesizing the sound received at any position relies on the estimation of impulse response (IR), which characterizes how sound propagates in one scene along different paths before arriving at the listener's position. In this paper, we present Acoustic Volume Rendering (AVR), a novel approach that adapts volume rendering techniques to model acoustic impulse responses. While volume rendering has been successful in modeling radiance fields for images and neural scene representations, IRs present unique challenges as time-series signals. To address these challenges, we introduce frequency-domain volume rendering and use spherical integration to fit the IR measurements. Our method constructs an impulse response field that inherently encodes wave propagation principles and achieves state-of-the-art performance in synthesizing impulse responses for novel poses. Experiments show that AVR surpasses current leading methods by a substantial margin. Additionally, we develop an acoustic simulation platform, AcoustiX, which provides more accurate and realistic IR simulations than existing simulators. Code for AVR and AcoustiX are available at https://zitonglan.github.io/avr.