PhyScene: Physically Interactable 3D Scene Synthesis for Embodied AI

要約

身体型人工知能 (EAI) 研究の最近の発展に伴い、高品質で大規模なインタラクティブなシーン生成に対する需要が高まっています。
シーン合成におけるこれまでの方法では、生成されるシーンの自然さとリアリズムが優先されてきましたが、シーンの物理的な妥当性とインタラクティブ性はほとんど解明されていませんでした。
この不均衡に対処するために、私たちは PhyScene を導入します。これは、現実的なレイアウト、多関節オブジェクト、および身体化されたエージェントに合わせた豊富な物理的インタラクティブ性を特徴とするインタラクティブ 3D シーンの生成に特化した新しい方法です。
シーンのレイアウトをキャプチャするための条件付き拡散モデルに基づいて、オブジェクトの衝突、部屋のレイアウト、オブジェクトの到達可能性からの制約を統合する、新しい物理ベースおよびインタラクティブベースの誘導メカニズムを考案します。
広範な実験を通じて、PhyScene が物理的にインタラクト可能なシーン合成にこれらのガイダンス機能を効果的に活用し、既存の最先端のシーン合成手法を大幅に上回るパフォーマンスを示すことを実証しました。
私たちの調査結果は、PhyScene によって生成されたシーンが、インタラクティブな環境内でエージェント間の多様なスキル習得を促進する大きな可能性を秘めており、それによって身体化型 AI 研究のさらなる進歩を促進することを示唆しています。
プロジェクトの Web サイト: http://physcene.github.io。

要約(オリジナル)

With recent developments in Embodied Artificial Intelligence (EAI) research, there has been a growing demand for high-quality, large-scale interactive scene generation. While prior methods in scene synthesis have prioritized the naturalness and realism of the generated scenes, the physical plausibility and interactivity of scenes have been largely left unexplored. To address this disparity, we introduce PhyScene, a novel method dedicated to generating interactive 3D scenes characterized by realistic layouts, articulated objects, and rich physical interactivity tailored for embodied agents. Based on a conditional diffusion model for capturing scene layouts, we devise novel physics- and interactivity-based guidance mechanisms that integrate constraints from object collision, room layout, and object reachability. Through extensive experiments, we demonstrate that PhyScene effectively leverages these guidance functions for physically interactable scene synthesis, outperforming existing state-of-the-art scene synthesis methods by a large margin. Our findings suggest that the scenes generated by PhyScene hold considerable potential for facilitating diverse skill acquisition among agents within interactive environments, thereby catalyzing further advancements in embodied AI research. Project website: http://physcene.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google