An Embodied Generalist Agent in 3D World

要約

大規模言語モデル (LLM) からの膨大な知識を活用する最近の機械学習モデルは、コンピューター ビジョンやロボティクスなどのさまざまな分野での汎用タスク解決において顕著な成功を示しています。
ただし、いくつかの重要な課題が残っています。(i) これらのモデルのほとんどは 2D 画像に依存していますが、3D 入力の能力は限られています。
(ii) これらのモデルは、3D の世界で本質的に定義されているタスク (3D グラウンディング、身体化された推論、演技など) をほとんど探索しません。
これらの制限は、現在のモデルが現実世界のタスクを実行し、一般的な知能に近づくことを大幅に妨げていると私たちは主張します。
この目的を達成するために、3D 世界での知覚、根拠づけ、推論、計画、行動に優れた、身体化されたマルチモーダルなジェネラリスト エージェントである LEO を導入します。
LEO は、統合されたタスク インターフェイス、モデル アーキテクチャ、および目標を使用して、(i) 3D ビジョン言語 (VL) の調整と (ii) 3D ビジョン言語アクション (VLA) の命令調整の 2 つの段階でトレーニングされます。
私たちは、3D 世界に対するかなりの理解と対話を必要とする、オブジェクト レベルおよびシーン レベルの多様なタスクで構成される大規模なデータセットを収集します。
さらに、高品質の 3D VL データを生成するための LLM 支援パイプラインを綿密に設計しています。
広範な実験を通じて、3D キャプション、質問応答、具体的な推論、ナビゲーション、操作など、幅広いタスクにわたって LEO の驚くべき熟練度を実証しました。
私たちのアブレーティブ研究とスケーリング分析は、将来の身体化ジェネラリストエージェントの開発に貴重な洞察をさらに提供します。
コードとデータはプロジェクトページから入手できます。

要約(オリジナル)

Leveraging massive knowledge from large language models (LLMs), recent machine learning models show notable successes in general-purpose task solving in diverse domains such as computer vision and robotics. However, several significant challenges remain: (i) most of these models rely on 2D images yet exhibit a limited capacity for 3D input; (ii) these models rarely explore the tasks inherently defined in 3D world, e.g., 3D grounding, embodied reasoning and acting. We argue these limitations significantly hinder current models from performing real-world tasks and approaching general intelligence. To this end, we introduce LEO, an embodied multi-modal generalist agent that excels in perceiving, grounding, reasoning, planning, and acting in the 3D world. LEO is trained with a unified task interface, model architecture, and objective in two stages: (i) 3D vision-language (VL) alignment and (ii) 3D vision-language-action (VLA) instruction tuning. We collect large-scale datasets comprising diverse object-level and scene-level tasks, which require considerable understanding of and interaction with the 3D world. Moreover, we meticulously design an LLM-assisted pipeline to produce high-quality 3D VL data. Through extensive experiments, we demonstrate LEO’s remarkable proficiency across a wide spectrum of tasks, including 3D captioning, question answering, embodied reasoning, navigation and manipulation. Our ablative studies and scaling analyses further provide valuable insights for developing future embodied generalist agents. Code and data are available on project page.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google