DI-PCG: 고품질 3D 에셋 생성을 위한 확산 기반 효율적인 역절차적 콘텐츠 생성

DI-PCG: Diffusion-based Efficient Inverse Procedural Content Generation for High-quality 3D Asset Creation

December 19, 2024

저자: Wang Zhao, Yan-Pei Cao, Jiale Xu, Yuejiang Dong, Ying Shan

cs.AI

초록

절차적 콘텐츠 생성 (PCG)은 고품질 3D 콘텐츠를 생성하는 데 강력하지만 원하는 형상을 생성하고 제어하는 것은 어렵고 종종 많은 매개변수 조정이 필요합니다. 역 절차적 콘텐츠 생성은 입력 조건 하에서 최적의 매개변수를 자동으로 찾는 것을 목표로 합니다. 그러나 기존의 샘플링 기반 및 신경망 기반 방법은 여전히 많은 샘플 반복이 필요하거나 제어 가능성이 제한되어 있습니다. 본 연구에서는 일반 이미지 조건에서 역 PCG를 위한 혁신적이고 효율적인 방법인 DI-PCG를 제안합니다. 핵심은 경량 확산 변환 모델로, PCG 매개변수가 노이즈 제거 대상으로 직접 처리되고 관찰된 이미지가 매개변수 생성을 제어하는 조건으로 작용합니다. DI-PCG는 효율적이고 효과적입니다. 7.6M 개의 네트워크 매개변수와 30 GPU 시간만으로 훈련되며, 매개변수를 정확하게 복원하고 야외 이미지에 대해 잘 일반화되는 우수한 성능을 보여줍니다. 양적 및 질적 실험 결과는 DI-PCG의 역 PCG 및 이미지에서 3D 생성 작업에서의 효과를 입증합니다. DI-PCG는 효율적인 역 PCG를 위한 유망한 접근 방식을 제공하며, 매개변수 모델을 사용하여 3D 자산을 구성하는 방법을 모델링하는 3D 생성 경로로의 가치 있는 탐색 단계를 나타냅니다.

English

Procedural Content Generation (PCG) is powerful in creating high-quality 3D contents, yet controlling it to produce desired shapes is difficult and often requires extensive parameter tuning. Inverse Procedural Content Generation aims to automatically find the best parameters under the input condition. However, existing sampling-based and neural network-based methods still suffer from numerous sample iterations or limited controllability. In this work, we present DI-PCG, a novel and efficient method for Inverse PCG from general image conditions. At its core is a lightweight diffusion transformer model, where PCG parameters are directly treated as the denoising target and the observed images as conditions to control parameter generation. DI-PCG is efficient and effective. With only 7.6M network parameters and 30 GPU hours to train, it demonstrates superior performance in recovering parameters accurately, and generalizing well to in-the-wild images. Quantitative and qualitative experiment results validate the effectiveness of DI-PCG in inverse PCG and image-to-3D generation tasks. DI-PCG offers a promising approach for efficient inverse PCG and represents a valuable exploration step towards a 3D generation path that models how to construct a 3D asset using parametric models.