Dreamland: Controllable World Creation with Simulator and Generative Models

要約

大規模なビデオ生成モデルは、ダイナミックな世界創造のための多様で現実的な視覚コンテンツを合成できますが、多くの場合、要素ごとの制御性が欠けており、編集シーンとトレーニングで具体化されたAIエージェントでの使用を妨げます。
物理学ベースのシミュレータの粒状制御と大規模な事前に守られた生成モデルの光選挙的コンテンツ出力を組み合わせたハイブリッド世界世代のフレームワークであるDreamlandを提案します。
特に、シミュレーターと生成モデルを橋渡しするための中間表現として、ピクセルレベルとオブジェクトレベルのセマンティクスとジオメトリの両方をコードする層状の世界抽象化を設計します。
このアプローチは、制御可能性を向上させ、現実世界の分布との早期の整合性を通じて適応コストを最小限に抑え、既存および将来の前提条件の生成モデルの既製の使用をサポートします。
さらに、ハイブリッド生成パイプラインのトレーニングと評価を容易にするために、D3SIMデータセットを構築します。
実験は、ドリームランドが50.8％の画質を向上させ、17.9％の制御性を改善し、具体化されたエージェントトレーニングを強化する大きな可能性を備えた既存のベースラインよりも優れていることを示しています。
コードとデータが利用可能になります。

要約(オリジナル)

Large-scale video generative models can synthesize diverse and realistic visual content for dynamic world creation, but they often lack element-wise controllability, hindering their use in editing scenes and training embodied AI agents. We propose Dreamland, a hybrid world generation framework combining the granular control of a physics-based simulator and the photorealistic content output of large-scale pretrained generative models. In particular, we design a layered world abstraction that encodes both pixel-level and object-level semantics and geometry as an intermediate representation to bridge the simulator and the generative model. This approach enhances controllability, minimizes adaptation cost through early alignment with real-world distributions, and supports off-the-shelf use of existing and future pretrained generative models. We further construct a D3Sim dataset to facilitate the training and evaluation of hybrid generation pipelines. Experiments demonstrate that Dreamland outperforms existing baselines with 50.8% improved image quality, 17.9% stronger controllability, and has great potential to enhance embodied agent training. Code and data will be made available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google