SceneX: Procedural Controllable Large-scale Scene Generation

要約

包括的な明示的な世界モデルを開発することは、現実世界のシナリオを理解してシミュレーションするために重要です。
最近、Procedural Controllable Generation (PCG) は、スケーラブルで高品質のアセットの作成を可能にすることで、大規模なシーン生成において大きな注目を集めています。
ただし、PCG は、モジュールの多様性の制限、高度な専門知識の要件、複雑なシーンでの多様な要素と構造の管理における課題などの課題に直面しています。
本稿では、デザイナーのテキスト記述に従って高品質な手続き型モデルを自動生成できる大規模シーン生成フレームワークSceneXを紹介します。
具体的には、提案された方法は、PCGHub と PCGPlanner の 2 つのコンポーネントで構成されます。
前者には、アクセス可能なプロシージャ アセットの広範なコレクションと、PCG コントローラーの標準プロトコルとして実行するための何千もの手作り API ドキュメントが含まれています。
後者は、Blender が実行可能なアクションを生成して、ユーザーの指示に従って制御可能で正確な 3D アセットを生成することを目的としています。
広範な実験により、自然シーンや境界のない都市などの制御可能な大規模シーン生成、およびアセットの配置や季節の変換などのシーン編集におけるこの手法の機能が実証されました。

要約(オリジナル)

Developing comprehensive explicit world models is crucial for understanding and simulating real-world scenarios. Recently, Procedural Controllable Generation (PCG) has gained significant attention in large-scale scene generation by enabling the creation of scalable, high-quality assets. However, PCG faces challenges such as limited modular diversity, high expertise requirements, and challenges in managing the diverse elements and structures in complex scenes. In this paper, we introduce a large-scale scene generation framework, SceneX, which can automatically produce high-quality procedural models according to designers’ textual descriptions. Specifically, the proposed method comprises two components, PCGHub and PCGPlanner. The former encompasses an extensive collection of accessible procedural assets and thousands of hand-craft API documents to perform as a standard protocol for PCG controller. The latter aims to generate executable actions for Blender to produce controllable and precise 3D assets guided by the user’s instructions. Extensive experiments demonstrated the capability of our method in controllable large-scale scene generation, including nature scenes and unbounded cities, as well as scene editing such as asset placement and season translation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google