DI-PCG: Diffusion-based Efficient Inverse Procedural Content Generation for High-quality 3D Asset Creation

要約

プロシージャル コンテンツ生成 (PCG) は、高品質の 3D コンテンツの作成に強力ですが、目的の形状を生成するように制御するのは難しく、多くの場合、広範なパラメータ調整が必要です。
逆手続き型コンテンツ生成は、入力条件の下で最適なパラメーターを自動的に見つけることを目的としています。
しかし、既存のサンプリング ベースおよびニューラル ネットワーク ベースの手法では、依然として多数のサンプル反復または制限された制御性という問題があります。
この研究では、一般的な画像条件から逆PCGを行うための新しく効率的な方法であるDI-PCGを紹介します。
その核となるのは軽量の拡散トランスモデルであり、PCG パラメータがノイズ除去ターゲットとして直接扱われ、観察された画像がパラメータ生成を制御する条件として扱われます。
DI-PCG は効率的かつ効果的です。
わずか 760 万のネットワーク パラメータと 30 GPU 時間のトレーニングで、パラメータを正確に回復し、実際の画像に十分に一般化する際に優れたパフォーマンスを発揮します。
定量的および定性的な実験結果により、逆 PCG タスクおよび画像から 3D 生成タスクにおける DI-PCG の有効性が検証されます。
DI-PCG は、効率的な逆 PCG に対する有望なアプローチを提供し、パラメトリック モデルを使用して 3D アセットを構築する方法をモデル化する 3D 生成パスに向けた貴重な探索ステップとなります。

要約(オリジナル)

Procedural Content Generation (PCG) is powerful in creating high-quality 3D contents, yet controlling it to produce desired shapes is difficult and often requires extensive parameter tuning. Inverse Procedural Content Generation aims to automatically find the best parameters under the input condition. However, existing sampling-based and neural network-based methods still suffer from numerous sample iterations or limited controllability. In this work, we present DI-PCG, a novel and efficient method for Inverse PCG from general image conditions. At its core is a lightweight diffusion transformer model, where PCG parameters are directly treated as the denoising target and the observed images as conditions to control parameter generation. DI-PCG is efficient and effective. With only 7.6M network parameters and 30 GPU hours to train, it demonstrates superior performance in recovering parameters accurately, and generalizing well to in-the-wild images. Quantitative and qualitative experiment results validate the effectiveness of DI-PCG in inverse PCG and image-to-3D generation tasks. DI-PCG offers a promising approach for efficient inverse PCG and represents a valuable exploration step towards a 3D generation path that models how to construct a 3D asset using parametric models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google