EvMic: Recupero del suono senza contatto basato su eventi attraverso una modellizzazione spazio-temporale efficace

EvMic: Event-based Non-contact sound recovery from effective spatial-temporal modeling

April 3, 2025

Autori: Hao Yin, Shi Guo, Xu Jia, Xudong XU, Lu Zhang, Si Liu, Dong Wang, Huchuan Lu, Tianfan Xue

cs.AI

Abstract

Quando le onde sonore colpiscono un oggetto, inducono vibrazioni che producono cambiamenti visivi ad alta frequenza e sottili, che possono essere utilizzati per recuperare il suono. Gli studi iniziali si scontrano sempre con compromessi legati alla frequenza di campionamento, alla larghezza di banda, al campo visivo e alla semplicità del percorso ottico. I recenti progressi nell'hardware delle telecamere a eventi mostrano un buon potenziale per la loro applicazione nel recupero del suono visivo, grazie alla loro superiore capacità di catturare segnali ad alta frequenza. Tuttavia, i metodi esistenti basati su eventi per il recupero delle vibrazioni sono ancora subottimali per il recupero del suono. In questo lavoro, proponiamo una nuova pipeline per il recupero del suono senza contatto, sfruttando appieno le informazioni spazio-temporali dal flusso di eventi. Inizialmente, generiamo un ampio set di addestramento utilizzando una nuova pipeline di simulazione. Successivamente, abbiamo progettato una rete che sfrutta la sparsità degli eventi per catturare informazioni spaziali e utilizza Mamba per modellare le informazioni temporali a lungo termine. Infine, addestriamo un blocco di aggregazione spaziale per aggregare le informazioni provenienti da diverse posizioni, migliorando ulteriormente la qualità del segnale. Per catturare i segnali degli eventi causati dalle onde sonore, abbiamo anche progettato un sistema di imaging utilizzando una matrice laser per migliorare il gradiente e abbiamo raccolto più sequenze di dati per i test. I risultati sperimentali su dati sintetici e del mondo reale dimostrano l'efficacia del nostro metodo.

English

When sound waves hit an object, they induce vibrations that produce high-frequency and subtle visual changes, which can be used for recovering the sound. Early studies always encounter trade-offs related to sampling rate, bandwidth, field of view, and the simplicity of the optical path. Recent advances in event camera hardware show good potential for its application in visual sound recovery, because of its superior ability in capturing high-frequency signals. However, existing event-based vibration recovery methods are still sub-optimal for sound recovery. In this work, we propose a novel pipeline for non-contact sound recovery, fully utilizing spatial-temporal information from the event stream. We first generate a large training set using a novel simulation pipeline. Then we designed a network that leverages the sparsity of events to capture spatial information and uses Mamba to model long-term temporal information. Lastly, we train a spatial aggregation block to aggregate information from different locations to further improve signal quality. To capture event signals caused by sound waves, we also designed an imaging system using a laser matrix to enhance the gradient and collected multiple data sequences for testing. Experimental results on synthetic and real-world data demonstrate the effectiveness of our method.