Diffusione Latente a Wavelet (Wala): Modello Generativo 3D a Miliardo di Parametri con Codifiche a Wavelet Compatte

Wavelet Latent Diffusion (Wala): Billion-Parameter 3D Generative Model with Compact Wavelet Encodings

November 12, 2024

Autori: Aditya Sanghi, Aliasghar Khani, Pradyumna Reddy, Arianna Rampini, Derek Cheung, Kamal Rahimi Malekshan, Kanika Madan, Hooman Shayani

cs.AI

Abstract

I modelli generativi 3D su larga scala richiedono consistenti risorse computazionali, ma spesso non riescono a catturare dettagli fini e geometrie complesse ad alte risoluzioni. Attribuiamo questa limitazione all'inefficienza delle attuali rappresentazioni, che mancano della compattezza necessaria per modellare in modo efficace i modelli generativi. Per affrontare questo problema, introduciamo un nuovo approccio chiamato Diffusione Latente a Wavelet, o WaLa, che codifica le forme 3D in codifiche latenti basate su wavelet, compatte. In particolare, comprimiamo un campo di distanza firmato 256^3 in una griglia latente 12^3 volte 4, raggiungendo un impressionante rapporto di compressione di 2427x con una perdita minima di dettagli. Questo alto livello di compressione consente al nostro metodo di addestrare efficientemente reti generative su larga scala senza aumentare il tempo di inferenza. I nostri modelli, sia condizionali che incondizionati, contengono approssimativamente un miliardo di parametri e generano con successo forme 3D di alta qualità a una risoluzione di 256^3. Inoltre, WaLa offre un'inferezza rapida, producendo forme entro due o quattro secondi a seconda della condizione, nonostante la scala del modello. Dimostriamo prestazioni all'avanguardia su diversi set di dati, con miglioramenti significativi nella qualità della generazione, diversità ed efficienza computazionale. Rilasciamo il nostro codice open-source e, per quanto ne sappiamo, pubblichiamo i più grandi modelli generativi 3D preaddestrati attraverso diverse modalità.

English

Large-scale 3D generative models require substantial computational resources yet often fall short in capturing fine details and complex geometries at high resolutions. We attribute this limitation to the inefficiency of current representations, which lack the compactness required to model the generative models effectively. To address this, we introduce a novel approach called Wavelet Latent Diffusion, or WaLa, that encodes 3D shapes into wavelet-based, compact latent encodings. Specifically, we compress a 256^3 signed distance field into a 12^3 times 4 latent grid, achieving an impressive 2427x compression ratio with minimal loss of detail. This high level of compression allows our method to efficiently train large-scale generative networks without increasing the inference time. Our models, both conditional and unconditional, contain approximately one billion parameters and successfully generate high-quality 3D shapes at 256^3 resolution. Moreover, WaLa offers rapid inference, producing shapes within two to four seconds depending on the condition, despite the model's scale. We demonstrate state-of-the-art performance across multiple datasets, with significant improvements in generation quality, diversity, and computational efficiency. We open-source our code and, to the best of our knowledge, release the largest pretrained 3D generative models across different modalities.