SAR3D: Generazione autoregressiva di oggetti 3D e comprensione tramite VQVAE 3D multi-scala.

SAR3D: Autoregressive 3D Object Generation and Understanding via Multi-scale 3D VQVAE

November 25, 2024

Autori: Yongwei Chen, Yushi Lan, Shangchen Zhou, Tengfei Wang, XIngang Pan

cs.AI

Abstract

I modelli autoregressivi hanno dimostrato un notevole successo in vari campi, dai grandi modelli linguistici (LLM) ai grandi modelli multimodali (LMM) e alla generazione di contenuti 2D, avvicinandosi sempre di più all'intelligenza artificiale generale (AGI). Nonostante questi progressi, l'applicazione di approcci autoregressivi alla generazione e comprensione di oggetti 3D rimane in gran parte inesplorata. Questo articolo introduce Scale AutoRegressive 3D (SAR3D), un nuovo framework che sfrutta un autoencoder variazionale vettorializzato 3D multi-scala (VQVAE) per tokenizzare gli oggetti 3D per una generazione autoregressiva efficiente e una comprensione dettagliata. Prevedendo la prossima scala in una rappresentazione latente multi-scala anziché il prossimo singolo token, SAR3D riduce significativamente il tempo di generazione, raggiungendo una rapida generazione di oggetti 3D in soli 0,82 secondi su una GPU A6000. Inoltre, dato che i token sono arricchiti con informazioni gerarchiche consapevoli del 3D, ottimizziamo un LLM preaddestrato su di essi, consentendo la comprensione multimodale dei contenuti 3D. I nostri esperimenti mostrano che SAR3D supera i metodi attuali di generazione 3D sia in velocità che in qualità e consente ai LLM di interpretare e descrivere in modo esaustivo i modelli 3D.

English

Autoregressive models have demonstrated remarkable success across various fields, from large language models (LLMs) to large multimodal models (LMMs) and 2D content generation, moving closer to artificial general intelligence (AGI). Despite these advances, applying autoregressive approaches to 3D object generation and understanding remains largely unexplored. This paper introduces Scale AutoRegressive 3D (SAR3D), a novel framework that leverages a multi-scale 3D vector-quantized variational autoencoder (VQVAE) to tokenize 3D objects for efficient autoregressive generation and detailed understanding. By predicting the next scale in a multi-scale latent representation instead of the next single token, SAR3D reduces generation time significantly, achieving fast 3D object generation in just 0.82 seconds on an A6000 GPU. Additionally, given the tokens enriched with hierarchical 3D-aware information, we finetune a pretrained LLM on them, enabling multimodal comprehension of 3D content. Our experiments show that SAR3D surpasses current 3D generation methods in both speed and quality and allows LLMs to interpret and caption 3D models comprehensively.