Akoestische volumeweergave voor neurale impulsresponsvelden

Acoustic Volume Rendering for Neural Impulse Response Fields

November 9, 2024

Auteurs: Zitong Lan, Chenhao Zheng, Zhiwei Zheng, Mingmin Zhao

cs.AI

Samenvatting

Realistische audioweergave die nauwkeurige akoestische fenomenen vastlegt, is essentieel voor het creëren van meeslepende ervaringen in virtuele en augmented reality. Het synthetiseren van het geluid dat op een bepaalde positie wordt ontvangen, berust op de schatting van de impulsrespons (IR), die karakteriseert hoe geluid zich voortplant in een scène langs verschillende paden voordat het de positie van de luisteraar bereikt. In dit artikel presenteren we Acoustic Volume Rendering (AVR), een nieuwe benadering die volumeweergavetechnieken aanpast om akoestische impulsresponsen te modelleren. Hoewel volumeweergave succesvol is geweest in het modelleren van stralingsvelden voor afbeeldingen en neurale scène-representaties, vormen IR's unieke uitdagingen als tijdreeksignalen. Om deze uitdagingen aan te pakken, introduceren we frequentiedomein volumeweergave en gebruiken we sferische integratie om de IR-metingen te passen. Onze methode construeert een impulsresponsveld dat inherent golfsvoortplantingsprincipes codeert en bereikt state-of-the-art prestaties in het synthetiseren van impulsresponsen voor nieuwe posities. Experimenten tonen aan dat AVR de huidige toonaangevende methoden aanzienlijk overtreft. Daarnaast ontwikkelen we een akoestisch simulatieplatform, AcoustiX, dat nauwkeurigere en realistischere IR-simulaties biedt dan bestaande simulatoren. De code voor AVR en AcoustiX is beschikbaar op https://zitonglan.github.io/avr.

English

Realistic audio synthesis that captures accurate acoustic phenomena is essential for creating immersive experiences in virtual and augmented reality. Synthesizing the sound received at any position relies on the estimation of impulse response (IR), which characterizes how sound propagates in one scene along different paths before arriving at the listener's position. In this paper, we present Acoustic Volume Rendering (AVR), a novel approach that adapts volume rendering techniques to model acoustic impulse responses. While volume rendering has been successful in modeling radiance fields for images and neural scene representations, IRs present unique challenges as time-series signals. To address these challenges, we introduce frequency-domain volume rendering and use spherical integration to fit the IR measurements. Our method constructs an impulse response field that inherently encodes wave propagation principles and achieves state-of-the-art performance in synthesizing impulse responses for novel poses. Experiments show that AVR surpasses current leading methods by a substantial margin. Additionally, we develop an acoustic simulation platform, AcoustiX, which provides more accurate and realistic IR simulations than existing simulators. Code for AVR and AcoustiX are available at https://zitonglan.github.io/avr.