Wavelet Latent Diffusion (Wala): Dreidimensionales generatives Modell mit Milliarden Parametern und kompakten Wavelet-Codierungen.

Wavelet Latent Diffusion (Wala): Billion-Parameter 3D Generative Model with Compact Wavelet Encodings

November 12, 2024

Autoren: Aditya Sanghi, Aliasghar Khani, Pradyumna Reddy, Arianna Rampini, Derek Cheung, Kamal Rahimi Malekshan, Kanika Madan, Hooman Shayani

cs.AI

Zusammenfassung

Groß angelegte 3D-generative Modelle erfordern erhebliche Rechenressourcen, können jedoch oft feine Details und komplexe Geometrien bei hohen Auflösungen nicht vollständig erfassen. Wir führen diese Einschränkung auf die Ineffizienz der aktuellen Darstellungen zurück, die nicht die erforderliche Kompaktheit aufweisen, um die generativen Modelle effektiv zu modellieren. Um dies zu lösen, stellen wir einen neuartigen Ansatz namens Wavelet Latent Diffusion, oder WaLa, vor, der 3D-Formen in waveletbasierte, kompakte latente Kodierungen umwandelt. Konkret komprimieren wir ein 256^3-Signed-Distance-Feld in ein 12^3-mal-4-latentes Raster und erreichen ein beeindruckendes Kompressionsverhältnis von 2427x bei minimalem Detailverlust. Dieses hohe Maß an Kompression ermöglicht es unserer Methode, große generative Netzwerke effizient zu trainieren, ohne die Inferenzzeit zu erhöhen. Unsere Modelle, sowohl bedingt als auch unbedingt, enthalten ungefähr eine Milliarde Parameter und generieren erfolgreich hochwertige 3D-Formen mit einer Auflösung von 256^3. Darüber hinaus bietet WaLa eine schnelle Inferenz, die Formen innerhalb von zwei bis vier Sekunden je nach Bedingung erzeugt, trotz des Maßstabs des Modells. Wir zeigen eine Spitzenleistung über mehrere Datensätze hinweg mit signifikanten Verbesserungen in der Generierungsqualität, Vielfalt und Recheneffizienz. Wir stellen unseren Code als Open Source zur Verfügung und veröffentlichen, nach unserem besten Wissen, die größten vorab trainierten 3D-generativen Modelle über verschiedene Modalitäten hinweg.

English

Large-scale 3D generative models require substantial computational resources yet often fall short in capturing fine details and complex geometries at high resolutions. We attribute this limitation to the inefficiency of current representations, which lack the compactness required to model the generative models effectively. To address this, we introduce a novel approach called Wavelet Latent Diffusion, or WaLa, that encodes 3D shapes into wavelet-based, compact latent encodings. Specifically, we compress a 256^3 signed distance field into a 12^3 times 4 latent grid, achieving an impressive 2427x compression ratio with minimal loss of detail. This high level of compression allows our method to efficiently train large-scale generative networks without increasing the inference time. Our models, both conditional and unconditional, contain approximately one billion parameters and successfully generate high-quality 3D shapes at 256^3 resolution. Moreover, WaLa offers rapid inference, producing shapes within two to four seconds depending on the condition, despite the model's scale. We demonstrate state-of-the-art performance across multiple datasets, with significant improvements in generation quality, diversity, and computational efficiency. We open-source our code and, to the best of our knowledge, release the largest pretrained 3D generative models across different modalities.