Comprensione delle Scene 3D Attraverso la Modellizzazione di Sequenze ad Accesso Casuale Locale

3D Scene Understanding Through Local Random Access Sequence Modeling

April 4, 2025

Autori: Wanhee Lee, Klemen Kotar, Rahul Mysore Venkatesh, Jared Watrous, Honglin Chen, Khai Loong Aw, Daniel L. K. Yamins

cs.AI

Abstract

La comprensione di scene 3D da immagini singole è un problema fondamentale nella visione artificiale, con numerose applicazioni nei campi della grafica, della realtà aumentata e della robotica. Sebbene gli approcci basati su modelli di diffusione abbiano mostrato potenziale, spesso faticano a mantenere la coerenza degli oggetti e delle scene, specialmente in scenari complessi del mondo reale. Per affrontare queste limitazioni, proponiamo un approccio generativo autoregressivo chiamato Local Random Access Sequence (LRAS) modeling, che utilizza la quantizzazione di patch locali e la generazione di sequenze ordinate casualmente. Utilizzando il flusso ottico come rappresentazione intermedia per l'editing di scene 3D, i nostri esperimenti dimostrano che LRAS raggiunge capacità all'avanguardia nella sintesi di nuove viste e nella manipolazione di oggetti 3D. Inoltre, mostriamo che il nostro framework si estende naturalmente alla stima della profondità auto-supervisionata attraverso una semplice modifica del design della sequenza. Raggiungendo prestazioni solide in molteplici compiti di comprensione di scene 3D, LRAS fornisce un framework unificato ed efficace per costruire la prossima generazione di modelli di visione 3D.

English

3D scene understanding from single images is a pivotal problem in computer vision with numerous downstream applications in graphics, augmented reality, and robotics. While diffusion-based modeling approaches have shown promise, they often struggle to maintain object and scene consistency, especially in complex real-world scenarios. To address these limitations, we propose an autoregressive generative approach called Local Random Access Sequence (LRAS) modeling, which uses local patch quantization and randomly ordered sequence generation. By utilizing optical flow as an intermediate representation for 3D scene editing, our experiments demonstrate that LRAS achieves state-of-the-art novel view synthesis and 3D object manipulation capabilities. Furthermore, we show that our framework naturally extends to self-supervised depth estimation through a simple modification of the sequence design. By achieving strong performance on multiple 3D scene understanding tasks, LRAS provides a unified and effective framework for building the next generation of 3D vision models.