MOVIS: Miglioramento della Sintesi di Nuove Viste Multi-Oggetto per Scene Interne

MOVIS: Enhancing Multi-Object Novel View Synthesis for Indoor Scenes

December 16, 2024

Autori: Ruijie Lu, Yixin Chen, Junfeng Ni, Baoxiong Jia, Yu Liu, Diwen Wan, Gang Zeng, Siyuan Huang

cs.AI

Abstract

Il riposizionamento dei modelli di diffusione pre-addestrati è stato dimostrato essere efficace per NVS. Tuttavia, questi metodi sono per lo più limitati a un singolo oggetto; l'applicazione diretta di tali metodi a scenari compositi multi-oggetto produce risultati inferiori, in particolare un posizionamento errato degli oggetti e una forma e un aspetto inconsistente sotto nuove visualizzazioni. Come migliorare ed valutare sistematicamente la coerenza tra visualizzazioni di tali modelli rimane poco esplorato. Per affrontare questo problema, proponiamo MOVIS per potenziare la consapevolezza strutturale del modello di diffusione condizionato alla visualizzazione per NVS multi-oggetto in termini di input del modello, compiti ausiliari e strategia di addestramento. Innanzitutto, inseriamo caratteristiche consapevoli della struttura, inclusa la profondità e la maschera dell'oggetto, nel denoising U-Net per potenziare la comprensione del modello delle istanze degli oggetti e delle loro relazioni spaziali. In secondo luogo, introduciamo un compito ausiliario che richiede al modello di prevedere simultaneamente le maschere degli oggetti in nuove visualizzazioni, migliorando ulteriormente la capacità del modello di differenziare e posizionare gli oggetti. Infine, conduciamo un'analisi approfondita del processo di campionamento della diffusione e progettiamo attentamente un programmatore di campionamento guidato dalla struttura durante l'addestramento, che bilancia l'apprendimento del posizionamento globale degli oggetti e il recupero dei dettagli fini. Per valutare sistematicamente la plausibilità delle immagini sintetizzate, proponiamo di valutare la coerenza tra visualizzazioni e il posizionamento degli oggetti in nuove visualizzazioni insieme alle metriche esistenti di NVS a livello di immagine. Estesi esperimenti su insiemi di dati sintetici e realistici impegnativi dimostrano che il nostro metodo mostra forti capacità di generalizzazione e produce una sintesi coerente di nuove visualizzazioni, evidenziando il suo potenziale per guidare futuri compiti di NVS multi-oggetto consapevoli del 3D.

English

Repurposing pre-trained diffusion models has been proven to be effective for NVS. However, these methods are mostly limited to a single object; directly applying such methods to compositional multi-object scenarios yields inferior results, especially incorrect object placement and inconsistent shape and appearance under novel views. How to enhance and systematically evaluate the cross-view consistency of such models remains under-explored. To address this issue, we propose MOVIS to enhance the structural awareness of the view-conditioned diffusion model for multi-object NVS in terms of model inputs, auxiliary tasks, and training strategy. First, we inject structure-aware features, including depth and object mask, into the denoising U-Net to enhance the model's comprehension of object instances and their spatial relationships. Second, we introduce an auxiliary task requiring the model to simultaneously predict novel view object masks, further improving the model's capability in differentiating and placing objects. Finally, we conduct an in-depth analysis of the diffusion sampling process and carefully devise a structure-guided timestep sampling scheduler during training, which balances the learning of global object placement and fine-grained detail recovery. To systematically evaluate the plausibility of synthesized images, we propose to assess cross-view consistency and novel view object placement alongside existing image-level NVS metrics. Extensive experiments on challenging synthetic and realistic datasets demonstrate that our method exhibits strong generalization capabilities and produces consistent novel view synthesis, highlighting its potential to guide future 3D-aware multi-object NVS tasks.