신경 충격 응답 필드에 대한 음향 부피 렌더링

Acoustic Volume Rendering for Neural Impulse Response Fields

November 9, 2024

저자: Zitong Lan, Chenhao Zheng, Zhiwei Zheng, Mingmin Zhao

cs.AI

초록

가상 및 증강 현실에서 몰입형 경험을 만들기 위해 정확한 음향 현상을 재현하는 현실적인 오디오 합성은 필수적입니다. 어떤 위치에서 수신된 소리를 합성하는 것은 임펄스 응답(impulse response, IR)을 추정하는 데 의존하는데, 이는 소리가 청취자의 위치에 도달하기 전에 한 장면에서 다양한 경로를 통해 전파되는 방식을 특징화합니다. 본 논문에서는 음향 부피 렌더링(Acoustic Volume Rendering, AVR)이라는 새로운 방법을 제안합니다. 이 방법은 부피 렌더링 기술을 채택하여 음향 임펄스 응답을 모델링합니다. 부피 렌더링은 이미지 및 신경 장면 표현을 위해 방사도 필드를 모델링하는 데 성공적이었지만, IR은 시계열 신호로서 고유한 도전을 제공합니다. 이러한 도전에 대처하기 위해 주파수 영역 부피 렌더링을 소개하고 IR 측정값을 맞추기 위해 구적 적분을 사용합니다. 우리의 방법은 파장 전파 원리를 내재적으로 부호화하는 임펄스 응답 필드를 구축하며, 새로운 자세에 대한 임펄스 응답을 합성하는 데 최첨단 성능을 달성합니다. 실험 결과 AVR이 현재 주요 방법들을 상당히 능가함을 보여줍니다. 게다가, 우리는 기존 시뮬레이터보다 더 정확하고 현실적인 IR 시뮬레이션을 제공하는 음향 시뮬레이션 플랫폼인 AcoustiX를 개발했습니다. AVR 및 AcoustiX의 코드는 https://zitonglan.github.io/avr에서 이용할 수 있습니다.

English

Realistic audio synthesis that captures accurate acoustic phenomena is essential for creating immersive experiences in virtual and augmented reality. Synthesizing the sound received at any position relies on the estimation of impulse response (IR), which characterizes how sound propagates in one scene along different paths before arriving at the listener's position. In this paper, we present Acoustic Volume Rendering (AVR), a novel approach that adapts volume rendering techniques to model acoustic impulse responses. While volume rendering has been successful in modeling radiance fields for images and neural scene representations, IRs present unique challenges as time-series signals. To address these challenges, we introduce frequency-domain volume rendering and use spherical integration to fit the IR measurements. Our method constructs an impulse response field that inherently encodes wave propagation principles and achieves state-of-the-art performance in synthesizing impulse responses for novel poses. Experiments show that AVR surpasses current leading methods by a substantial margin. Additionally, we develop an acoustic simulation platform, AcoustiX, which provides more accurate and realistic IR simulations than existing simulators. Code for AVR and AcoustiX are available at https://zitonglan.github.io/avr.