DI-PCG: 高品質3Dアセット作成のための拡散ベースの効率的逆手続きコンテンツ生成

DI-PCG: Diffusion-based Efficient Inverse Procedural Content Generation for High-quality 3D Asset Creation

December 19, 2024

著者: Wang Zhao, Yan-Pei Cao, Jiale Xu, Yuejiang Dong, Ying Shan

cs.AI

要旨

手続き型コンテンツ生成（PCG）は高品質な3Dコンテンツを作成するのに強力ですが、望ましい形状を生成するための制御は難しく、しばしば広範なパラメータ調整が必要です。逆手続き型コンテンツ生成は、入力条件下で最適なパラメータを自動的に見つけることを目指しています。しかし、既存のサンプリングベースおよびニューラルネットワークベースの手法は、依然として多数のサンプル反復や制御性の制約に苦しんでいます。本研究では、一般的な画像条件からの逆PCGのための革新的で効率的な手法であるDI-PCGを提案します。その中心には、軽量な拡散トランスフォーマーモデルがあり、PCGパラメータは直接ノイズ除去の対象として扱われ、観測された画像はパラメータ生成を制御する条件として機能します。DI-PCGは効率的かつ効果的です。訓練にはわずか7.6Mのネットワークパラメータと30 GPU時間しか必要とせず、パラメータを正確に回復し、野外画像にもよく一般化する優れた性能を示します。定量的および定性的な実験結果は、DI-PCGの逆PCGおよび画像から3D生成タスクでの有効性を検証しています。DI-PCGは効率的な逆PCGのための有望なアプローチを提供し、3D生成パスにおいて、パラメトリックモデルを使用して3Dアセットを構築する方法をモデル化する価値ある探索ステップを示しています。

English

Procedural Content Generation (PCG) is powerful in creating high-quality 3D contents, yet controlling it to produce desired shapes is difficult and often requires extensive parameter tuning. Inverse Procedural Content Generation aims to automatically find the best parameters under the input condition. However, existing sampling-based and neural network-based methods still suffer from numerous sample iterations or limited controllability. In this work, we present DI-PCG, a novel and efficient method for Inverse PCG from general image conditions. At its core is a lightweight diffusion transformer model, where PCG parameters are directly treated as the denoising target and the observed images as conditions to control parameter generation. DI-PCG is efficient and effective. With only 7.6M network parameters and 30 GPU hours to train, it demonstrates superior performance in recovering parameters accurately, and generalizing well to in-the-wild images. Quantitative and qualitative experiment results validate the effectiveness of DI-PCG in inverse PCG and image-to-3D generation tasks. DI-PCG offers a promising approach for efficient inverse PCG and represents a valuable exploration step towards a 3D generation path that models how to construct a 3D asset using parametric models.