Diffusion Latente par Ondelettes (Dalo) : Modèle Génératif 3D à Milliard de Paramètres avec Encodages Ondelettes Compacts

Wavelet Latent Diffusion (Wala): Billion-Parameter 3D Generative Model with Compact Wavelet Encodings

November 12, 2024

Auteurs: Aditya Sanghi, Aliasghar Khani, Pradyumna Reddy, Arianna Rampini, Derek Cheung, Kamal Rahimi Malekshan, Kanika Madan, Hooman Shayani

cs.AI

Résumé

Les modèles génératifs 3D à grande échelle nécessitent des ressources computationnelles substantielles mais ont souvent du mal à capturer les détails fins et les géométries complexes à haute résolution. Nous attribuons cette limitation à l'inefficacité des représentations actuelles, qui manquent de la compacité nécessaire pour modéliser efficacement les modèles génératifs. Pour remédier à cela, nous introduisons une nouvelle approche appelée Diffusion Latente Ondelette, ou WaLa, qui code les formes 3D en encodages latents compacts basés sur les ondelettes. Plus précisément, nous compressons un champ de distance signée de 256^3 en une grille latente de 12^3 fois 4, atteignant un impressionnant ratio de compression de 2427x avec une perte minimale de détails. Ce haut niveau de compression permet à notre méthode de former efficacement des réseaux génératifs à grande échelle sans augmenter le temps d'inférence. Nos modèles, à la fois conditionnels et inconditionnels, contiennent environ un milliard de paramètres et génèrent avec succès des formes 3D de haute qualité à une résolution de 256^3. De plus, WaLa offre une inférence rapide, produisant des formes en deux à quatre secondes selon la condition, malgré l'échelle du modèle. Nous démontrons des performances de pointe sur plusieurs ensembles de données, avec des améliorations significatives en termes de qualité de génération, de diversité et d'efficacité computationnelle. Nous rendons notre code open-source et, à notre connaissance, publions les plus grands modèles génératifs 3D pré-entraînés dans différentes modalités.

English

Large-scale 3D generative models require substantial computational resources yet often fall short in capturing fine details and complex geometries at high resolutions. We attribute this limitation to the inefficiency of current representations, which lack the compactness required to model the generative models effectively. To address this, we introduce a novel approach called Wavelet Latent Diffusion, or WaLa, that encodes 3D shapes into wavelet-based, compact latent encodings. Specifically, we compress a 256^3 signed distance field into a 12^3 times 4 latent grid, achieving an impressive 2427x compression ratio with minimal loss of detail. This high level of compression allows our method to efficiently train large-scale generative networks without increasing the inference time. Our models, both conditional and unconditional, contain approximately one billion parameters and successfully generate high-quality 3D shapes at 256^3 resolution. Moreover, WaLa offers rapid inference, producing shapes within two to four seconds depending on the condition, despite the model's scale. We demonstrate state-of-the-art performance across multiple datasets, with significant improvements in generation quality, diversity, and computational efficiency. We open-source our code and, to the best of our knowledge, release the largest pretrained 3D generative models across different modalities.