Wavelet Latente Diffusie (Wala): 3D Generatief Model met Miljard Parameters met Compacte Wavelet-coderingen

Wavelet Latent Diffusion (Wala): Billion-Parameter 3D Generative Model with Compact Wavelet Encodings

November 12, 2024

Auteurs: Aditya Sanghi, Aliasghar Khani, Pradyumna Reddy, Arianna Rampini, Derek Cheung, Kamal Rahimi Malekshan, Kanika Madan, Hooman Shayani

cs.AI

Samenvatting

Grootschalige 3D-generatiemodellen vereisen aanzienlijke rekenkracht, maar slagen er vaak niet in om fijne details en complexe geometrieën op hoge resoluties vast te leggen. Wij schrijven deze beperking toe aan de inefficiëntie van huidige representaties, die de compactheid missen die nodig is om de generatieve modellen effectief te modelleren. Om dit aan te pakken, introduceren we een nieuw benadering genaamd Wavelet Latent Diffusion, of WaLa, die 3D-vormen codeert in golfletsel-gebaseerde, compacte latente coderingen. Specifiek comprimeren we een 256^3 ondertekend afstandsveld tot een 12^3 keer 4 latente rooster, waarbij we een indrukwekkende compressieverhouding van 2427x bereiken met minimaal verlies aan detail. Deze hoge mate van compressie stelt onze methode in staat om efficiënt grootschalige generatieve netwerken te trainen zonder de inferentietijd te verhogen. Onze modellen, zowel conditioneel als onvoorwaardelijk, bevatten ongeveer één miljard parameters en genereren succesvol hoogwaardige 3D-vormen op een resolutie van 256^3. Bovendien biedt WaLa snelle inferentie, waarbij vormen binnen twee tot vier seconden worden gegenereerd, afhankelijk van de conditie, ondanks de schaal van het model. We tonen state-of-the-art prestaties over meerdere datasets, met significante verbeteringen in generatiekwaliteit, diversiteit en computationele efficiëntie. We stellen onze code open-source beschikbaar en, voor zover wij weten, publiceren we de grootste vooraf getrainde 3D-generatiemodellen over verschillende modaliteiten.

English

Large-scale 3D generative models require substantial computational resources yet often fall short in capturing fine details and complex geometries at high resolutions. We attribute this limitation to the inefficiency of current representations, which lack the compactness required to model the generative models effectively. To address this, we introduce a novel approach called Wavelet Latent Diffusion, or WaLa, that encodes 3D shapes into wavelet-based, compact latent encodings. Specifically, we compress a 256^3 signed distance field into a 12^3 times 4 latent grid, achieving an impressive 2427x compression ratio with minimal loss of detail. This high level of compression allows our method to efficiently train large-scale generative networks without increasing the inference time. Our models, both conditional and unconditional, contain approximately one billion parameters and successfully generate high-quality 3D shapes at 256^3 resolution. Moreover, WaLa offers rapid inference, producing shapes within two to four seconds depending on the condition, despite the model's scale. We demonstrate state-of-the-art performance across multiple datasets, with significant improvements in generation quality, diversity, and computational efficiency. We open-source our code and, to the best of our knowledge, release the largest pretrained 3D generative models across different modalities.