EmbodiedGen: Towards a Generative 3D World Engine for Embodied Intelligence

要約

具体化されたインテリジェンスタスクのトレーニングと評価には、物理​​的に現実的で正確にスケーリングされたシミュレーション3Dワールドを構築することが重要です。
3Dデータ資産の多様性、リアリズム、低コストのアクセシビリティ、および手頃な価格は、具体化されたAIの一般化とスケーラビリティを達成するために重要です。
ただし、現在の具体化されたインテリジェンスタスクのほとんどは、手動で作成および注釈付けされた従来の3Dコンピューターグラフィックアセットに依然として大きく依存しており、生産コストが高く、リアリズムが限られています。
これらの制限は、データ駆動型のアプローチのスケーラビリティを大幅に妨げます。
インタラクティブな3Dワールドジェネレーションの基礎プラットフォームであるEmbodiedGenを提示します。
これにより、正確な物理的特性と実世界のスケールを備えた高品質、制御可能、および光選挙的3Dアセットのスケーラブルな生成が、低コストで統合ロボット学の説明形式（URDF）で実世界のスケールを可能にします。
これらの資産は、細粒の物理的制御のためにさまざまな物理シミュレーションエンジンに直接インポートし、トレーニングと評価の下流タスクをサポートできます。
EmbodiedGenは、画像から3D、テキストから3D、テクスチャ生成、明確なオブジェクト生成、シーン生成、レイアウト生成の6つの重要なモジュールで構成される使いやすく、フル機能のツールキットです。
EmbodiedGenは、生成的3Dアセットで構成される多様でインタラクティブな3Dワールドを生成し、生成AIを活用して、具体化されたインテリジェンス関連の研究のニーズに対する一般化と評価の課題に対処します。
コードはhttps://horizo​​nrobotics.github.io/robot_lab/embodied_gen/index.htmlで入手できます。

要約(オリジナル)

Constructing a physically realistic and accurately scaled simulated 3D world is crucial for the training and evaluation of embodied intelligence tasks. The diversity, realism, low cost accessibility and affordability of 3D data assets are critical for achieving generalization and scalability in embodied AI. However, most current embodied intelligence tasks still rely heavily on traditional 3D computer graphics assets manually created and annotated, which suffer from high production costs and limited realism. These limitations significantly hinder the scalability of data driven approaches. We present EmbodiedGen, a foundational platform for interactive 3D world generation. It enables the scalable generation of high-quality, controllable and photorealistic 3D assets with accurate physical properties and real-world scale in the Unified Robotics Description Format (URDF) at low cost. These assets can be directly imported into various physics simulation engines for fine-grained physical control, supporting downstream tasks in training and evaluation. EmbodiedGen is an easy-to-use, full-featured toolkit composed of six key modules: Image-to-3D, Text-to-3D, Texture Generation, Articulated Object Generation, Scene Generation and Layout Generation. EmbodiedGen generates diverse and interactive 3D worlds composed of generative 3D assets, leveraging generative AI to address the challenges of generalization and evaluation to the needs of embodied intelligence related research. Code is available at https://horizonrobotics.github.io/robot_lab/embodied_gen/index.html.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google