SpatialVLA: Exploring Spatial Representations for Visual-Language-Action Model

要約

この論文では、空間的理解はロボット操作のキーポイントであると主張し、ロボットファンデーションモデルの効果的な空間表現を調査するために空間を提案します。
具体的には、3D情報を視覚言語アクションモデルの入力観測に注入するためのEGO3D位置エンコードを導入し、適応性のある離散アクショングリッドを使用して空間ロボット運動アクションを表す適応アクショングリッドを提案し、一般化可能で転送可能な空間アクション知識を促進します
クロスロボットコントロール。
SpatialVLAは、複数のロボット環境とタスクでジェネラリストの操作ポリシーを学ぶために、110万件の現実世界のロボットエピソードを備えたビジョン言語モデルの上に最初に事前に訓練されています。
トレーニング前の後、SpatialVlaは直接適用され、ゼロショットの方法で多数のタスクを実行します。
シミュレーションと実世界の両方のロボットの両方で優れた結果は、複雑なロボットモーション軌道とその強力なドメイン内マルチタスク一般化能力を推測するという利点を示しています。
さらに、提案されている適応アクショングリッドが、新しいシミュレーションと現実世界のセットアップのために事前に訓練された空間モデルを微調整する新しい効果的な方法を提供することを示します。
新しいセットアップのアクションムーブメント。
広範な評価からの優れた結果は、例外的な分配的な一般化と分散式適応能力を示しており、一般主義ロボットポリシー学習のための提案された空間認識表現の重要な利点を強調しています。
すべての詳細とコードはオープンソーリングされます。

要約(オリジナル)

In this paper, we claim that spatial understanding is the keypoint in robot manipulation, and propose SpatialVLA to explore effective spatial representations for the robot foundation model. Specifically, we introduce Ego3D Position Encoding to inject 3D information into the input observations of the visual-language-action model, and propose Adaptive Action Grids to represent spatial robot movement actions with adaptive discretized action grids, facilitating learning generalizable and transferrable spatial action knowledge for cross-robot control. SpatialVLA is first pre-trained on top of a vision-language model with 1.1 Million real-world robot episodes, to learn a generalist manipulation policy across multiple robot environments and tasks. After pre-training, SpatialVLA is directly applied to perform numerous tasks in a zero-shot manner. The superior results in both simulation and real-world robots demonstrate its advantage of inferring complex robot motion trajectories and its strong in-domain multi-task generalization ability. We further show the proposed Adaptive Action Grids offer a new and effective way to fine-tune the pre-trained SpatialVLA model for new simulation and real-world setups, where the pre-learned action grids are re-discretized to capture robot-specific spatial action movements of new setups. The superior results from extensive evaluations demonstrate the exceptional in-distribution generalization and out-of-distribution adaptation capability, highlighting the crucial benefit of the proposed spatial-aware representations for generalist robot policy learning. All the details and codes will be open-sourced.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google