SceneX:Procedural Controllable Large-scale Scene Generation via Large-language Models

要約

大規模シーン生成は、その応用可能性が大きいため、学術界や産業界で幅広い注目を集めています。
最近の研究では、強力な生成モデルを使用して目的のシーンを作成し、有望な結果を達成しています。
ただし、これらの手法のほとんどは、産業パイプラインと互換性のない 3D プリミティブ (点群や放射フィールドなど) を使用してシーンを表現しており、学術研究と産業展開の間に大きなギャップが生じています。
Procedural Controllable Generation (PCG) は、スケーラブルで高品質のアセットを作成するための効率的な手法ですが、専門分野の深い専門知識が必要となるため、一般のユーザーにとっては不親切です。
これらの問題に対処するために、私たちは大規模言語モデル (LLM) を使用して手続き型モデリングを推進します。
本稿では、設計者のテキスト記述に従って高品質な手続き型モデルを自動生成できる大規模シーン生成フレームワークSceneXを紹介する。具体的には、提案手法はPCGBenchとPCGPlannerの2つのコンポーネントで構成される。
前者には、アクセス可能な手続き型アセットの広範なコレクションと何千もの手作りの API ドキュメントが含まれています。
後者は、Blender が実行可能なアクションを生成して、ユーザーの指示に従って制御可能で正確な 3D アセットを生成することを目的としています。
当社の SceneX は、繊細なレイアウトと幾何学的構造を備えた 2.5 km × 2.5 km にわたる都市を生成することができ、時間コストをプロの PCG エンジニアの数週間から一般ユーザーのわずか数時間に大幅に削減します。
広範な実験により、アセットの配置やシーズンの変換を含む、制御可能な大規模なシーンの生成と編集における私たちの方法の機能が実証されました。

要約(オリジナル)

Due to its great application potential, large-scale scene generation has drawn extensive attention in academia and industry. Recent research employs powerful generative models to create desired scenes and achieves promising results. However, most of these methods represent the scene using 3D primitives (e.g. point cloud or radiance field) incompatible with the industrial pipeline, which leads to a substantial gap between academic research and industrial deployment. Procedural Controllable Generation (PCG) is an efficient technique for creating scalable and high-quality assets, but it is unfriendly for ordinary users as it demands profound domain expertise. To address these issues, we resort to using the large language model (LLM) to drive the procedural modeling. In this paper, we introduce a large-scale scene generation framework, SceneX, which can automatically produce high-quality procedural models according to designers’ textual descriptions.Specifically, the proposed method comprises two components, PCGBench and PCGPlanner. The former encompasses an extensive collection of accessible procedural assets and thousands of hand-craft API documents. The latter aims to generate executable actions for Blender to produce controllable and precise 3D assets guided by the user’s instructions. Our SceneX can generate a city spanning 2.5 km times 2.5 km with delicate layout and geometric structures, drastically reducing the time cost from several weeks for professional PCG engineers to just a few hours for an ordinary user. Extensive experiments demonstrated the capability of our method in controllable large-scale scene generation and editing, including asset placement and season translation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google