DiET-GS: Deblurring del movimento assistito da flusso di eventi e prior di diffusione per 3D Gaussian Splatting

DiET-GS: Diffusion Prior and Event Stream-Assisted Motion Deblurring 3D Gaussian Splatting

March 31, 2025

Autori: Seungjun Lee, Gim Hee Lee

cs.AI

Abstract

La ricostruzione di rappresentazioni 3D nitide a partire da immagini multi-vista sfocate è un problema di lunga data nel campo della visione artificiale. Recenti lavori cercano di migliorare la sintesi di nuove viste di alta qualità a partire dal motion blur sfruttando telecamere basate su eventi, beneficiando dell'elevato intervallo dinamico e della risoluzione temporale al microsecondo. Tuttavia, spesso raggiungono una qualità visiva sub-ottimale, ripristinando colori inaccurati o perdendo dettagli fini. In questo articolo, presentiamo DiET-GS, un approccio di motion deblurring 3DGS assistito da un prior di diffusione e da flussi di eventi. Il nostro framework sfrutta efficacemente sia i flussi di eventi privi di blur che il prior di diffusione in una strategia di addestramento a due fasi. Nello specifico, introduciamo un nuovo framework per vincolare il 3DGS con un doppio integrale di eventi, ottenendo sia colori accurati che dettagli ben definiti. Inoltre, proponiamo una tecnica semplice per sfruttare il prior di diffusione per migliorare ulteriormente i dettagli dei bordi. I risultati qualitativi e quantitativi su dati sia sintetici che reali dimostrano che il nostro DiET-GS è in grado di produrre nuove viste di qualità significativamente migliore rispetto alle baseline esistenti. La nostra pagina del progetto è https://diet-gs.github.io.

English

Reconstructing sharp 3D representations from blurry multi-view images are long-standing problem in computer vision. Recent works attempt to enhance high-quality novel view synthesis from the motion blur by leveraging event-based cameras, benefiting from high dynamic range and microsecond temporal resolution. However, they often reach sub-optimal visual quality in either restoring inaccurate color or losing fine-grained details. In this paper, we present DiET-GS, a diffusion prior and event stream-assisted motion deblurring 3DGS. Our framework effectively leverages both blur-free event streams and diffusion prior in a two-stage training strategy. Specifically, we introduce the novel framework to constraint 3DGS with event double integral, achieving both accurate color and well-defined details. Additionally, we propose a simple technique to leverage diffusion prior to further enhance the edge details. Qualitative and quantitative results on both synthetic and real-world data demonstrate that our DiET-GS is capable of producing significantly better quality of novel views compared to the existing baselines. Our project page is https://diet-gs.github.io