DI-PCG: Generazione di Contenuti Procedurali Inversa Efficienti basata sulla Diffusione per la Creazione di Asset 3D di Alta Qualità

DI-PCG: Diffusion-based Efficient Inverse Procedural Content Generation for High-quality 3D Asset Creation

December 19, 2024

Autori: Wang Zhao, Yan-Pei Cao, Jiale Xu, Yuejiang Dong, Ying Shan

cs.AI

Abstract

La Generazione di Contenuti Procedurale (PCG) è potente nella creazione di contenuti 3D di alta qualità, ma controllarla per produrre forme desiderate è difficile e spesso richiede un'ampia messa a punto dei parametri. La Generazione di Contenuti Procedurale Inversa mira a trovare automaticamente i migliori parametri in base alla condizione di input. Tuttavia, i metodi esistenti basati su campionamento e reti neurali soffrono ancora di numerose iterazioni di campionamento o di limitata controllabilità. In questo lavoro, presentiamo DI-PCG, un metodo innovativo ed efficiente per la PCG Inversa a partire da condizioni immagine generali. Al suo nucleo vi è un modello trasformatore di diffusione leggero, in cui i parametri PCG sono direttamente trattati come obiettivo di denoising e le immagini osservate come condizioni per controllare la generazione dei parametri. DI-PCG è efficiente ed efficace. Con soli 7,6 milioni di parametri di rete e 30 ore di GPU per l'addestramento, dimostra prestazioni superiori nel recupero accurato dei parametri e una buona generalizzazione alle immagini in condizioni reali. Risultati sperimentali quantitativi e qualitativi convalidano l'efficacia di DI-PCG nelle attività di PCG inversa e generazione di immagini in 3D. DI-PCG offre un approccio promettente per una PCG inversa efficiente e rappresenta un passo esplorativo prezioso verso un percorso di generazione 3D che modella come costruire un asset 3D utilizzando modelli parametrici.

English

Procedural Content Generation (PCG) is powerful in creating high-quality 3D contents, yet controlling it to produce desired shapes is difficult and often requires extensive parameter tuning. Inverse Procedural Content Generation aims to automatically find the best parameters under the input condition. However, existing sampling-based and neural network-based methods still suffer from numerous sample iterations or limited controllability. In this work, we present DI-PCG, a novel and efficient method for Inverse PCG from general image conditions. At its core is a lightweight diffusion transformer model, where PCG parameters are directly treated as the denoising target and the observed images as conditions to control parameter generation. DI-PCG is efficient and effective. With only 7.6M network parameters and 30 GPU hours to train, it demonstrates superior performance in recovering parameters accurately, and generalizing well to in-the-wild images. Quantitative and qualitative experiment results validate the effectiveness of DI-PCG in inverse PCG and image-to-3D generation tasks. DI-PCG offers a promising approach for efficient inverse PCG and represents a valuable exploration step towards a 3D generation path that models how to construct a 3D asset using parametric models.