DI-PCG: Geração de Conteúdo Procedimental Inversa Eficiente Baseada em Difusão para a Criação de Ativos 3D de Alta Qualidade

DI-PCG: Diffusion-based Efficient Inverse Procedural Content Generation for High-quality 3D Asset Creation

December 19, 2024

Autores: Wang Zhao, Yan-Pei Cao, Jiale Xu, Yuejiang Dong, Ying Shan

cs.AI

Resumo

A Geração de Conteúdo Procedural (PCG) é poderosa na criação de conteúdos 3D de alta qualidade, no entanto, controlá-la para produzir formas desejadas é difícil e frequentemente requer ajustes extensivos de parâmetros. A Geração de Conteúdo Procedural Inversa visa encontrar automaticamente os melhores parâmetros sob a condição de entrada. No entanto, os métodos existentes baseados em amostragem e em redes neurais ainda sofrem com inúmeras iterações de amostras ou com limitada controlabilidade. Neste trabalho, apresentamos o DI-PCG, um método novo e eficiente para PCG Inversa a partir de condições de imagem gerais. Em seu núcleo está um modelo de transformador de difusão leve, onde os parâmetros do PCG são tratados diretamente como o alvo de remoção de ruído e as imagens observadas como condições para controlar a geração de parâmetros. O DI-PCG é eficiente e eficaz. Com apenas 7,6 milhões de parâmetros de rede e 30 horas de GPU para treinar, ele demonstra um desempenho superior na recuperação precisa de parâmetros e na generalização bem-sucedida para imagens em ambientes naturais. Resultados experimentais quantitativos e qualitativos validam a eficácia do DI-PCG em PCG inversa e tarefas de geração de imagem para 3D. O DI-PCG oferece uma abordagem promissora para PCG inversa eficiente e representa um passo de exploração valioso em direção a um caminho de geração 3D que modela como construir um ativo 3D usando modelos paramétricos.

English

Procedural Content Generation (PCG) is powerful in creating high-quality 3D contents, yet controlling it to produce desired shapes is difficult and often requires extensive parameter tuning. Inverse Procedural Content Generation aims to automatically find the best parameters under the input condition. However, existing sampling-based and neural network-based methods still suffer from numerous sample iterations or limited controllability. In this work, we present DI-PCG, a novel and efficient method for Inverse PCG from general image conditions. At its core is a lightweight diffusion transformer model, where PCG parameters are directly treated as the denoising target and the observed images as conditions to control parameter generation. DI-PCG is efficient and effective. With only 7.6M network parameters and 30 GPU hours to train, it demonstrates superior performance in recovering parameters accurately, and generalizing well to in-the-wild images. Quantitative and qualitative experiment results validate the effectiveness of DI-PCG in inverse PCG and image-to-3D generation tasks. DI-PCG offers a promising approach for efficient inverse PCG and represents a valuable exploration step towards a 3D generation path that models how to construct a 3D asset using parametric models.