Rendering acustico del volume per i campi di risposta agli impulsi neurali.

Acoustic Volume Rendering for Neural Impulse Response Fields

November 9, 2024

Autori: Zitong Lan, Chenhao Zheng, Zhiwei Zheng, Mingmin Zhao

cs.AI

Abstract

La sintesi audio realistica che cattura fenomeni acustici accurati è essenziale per creare esperienze coinvolgenti nella realtà virtuale e aumentata. La sintesi del suono ricevuto in qualsiasi posizione si basa sull'analisi della risposta impulsiva (IR), che caratterizza come il suono si propaga in una scena lungo percorsi diversi prima di arrivare alla posizione dell'ascoltatore. In questo articolo, presentiamo il Rendering Acustico Volumetrico (AVR), un nuovo approccio che adatta le tecniche di rendering volumetrico per modellare le risposte impulsive acustiche. Mentre il rendering volumetrico è stato efficace nel modellare campi di radianza per immagini e rappresentazioni neurali di scene, le IR presentano sfide uniche come segnali a serie temporale. Per affrontare tali sfide, introduciamo il rendering volumetrico nel dominio delle frequenze e utilizziamo l'integrazione sferica per adattare le misurazioni dell'IR. Il nostro metodo costruisce un campo di risposta impulsiva che codifica intrinsecamente i principi di propagazione delle onde e raggiunge prestazioni all'avanguardia nella sintesi delle risposte impulsive per pose nuove. Gli esperimenti mostrano che AVR supera di gran lunga i metodi leader attuali. Inoltre, sviluppiamo una piattaforma di simulazione acustica, AcoustiX, che fornisce simulazioni dell'IR più accurate e realistiche rispetto ai simulatori esistenti. Il codice per AVR e AcoustiX è disponibile su https://zitonglan.github.io/avr.

English

Realistic audio synthesis that captures accurate acoustic phenomena is essential for creating immersive experiences in virtual and augmented reality. Synthesizing the sound received at any position relies on the estimation of impulse response (IR), which characterizes how sound propagates in one scene along different paths before arriving at the listener's position. In this paper, we present Acoustic Volume Rendering (AVR), a novel approach that adapts volume rendering techniques to model acoustic impulse responses. While volume rendering has been successful in modeling radiance fields for images and neural scene representations, IRs present unique challenges as time-series signals. To address these challenges, we introduce frequency-domain volume rendering and use spherical integration to fit the IR measurements. Our method constructs an impulse response field that inherently encodes wave propagation principles and achieves state-of-the-art performance in synthesizing impulse responses for novel poses. Experiments show that AVR surpasses current leading methods by a substantial margin. Additionally, we develop an acoustic simulation platform, AcoustiX, which provides more accurate and realistic IR simulations than existing simulators. Code for AVR and AcoustiX are available at https://zitonglan.github.io/avr.