RoboSpatial: Teaching Spatial Understanding to 2D and 3D Vision-Language Models for Robotics

要約

空間理解は、ロボットが環境に基づいて根拠のある意思決定を行うための重要な能力です。
この基本的なスキルにより、ロボットは周囲の環境を認識するだけでなく、世界の中で推論し、有意義に対話することができます。
現代のロボット工学では、これらの機能は視覚言語モデルによって引き継がれていますが、トレーニング データ ソースが原因で、空間推論コンテキストに適用すると重大な課題に直面します。
これらのソースは汎用の画像データセットを利用していますが、多くの場合、高度な空間シーンを理解する機能が欠けています。
たとえば、データセットは参照フレームの理解に取り組んでいません。空間関係には、自己中心、オブジェクト中心、または世界中心の観点からであっても、明確な文脈上の理解を必要とし、これにより効果的な現実世界のインタラクションが可能になります。
この問題に対処するために、RoboSpatial を導入します。これは、3D スキャンとしてキャプチャされた実際の屋内および卓上のシーンと自己中心的な画像で構成され、ロボット工学に関連する豊富な空間情報で注釈が付けられた大規模な空間理解データセットです。
データセットには、1M の画像、5K 3D スキャン、および 3M の注釈付き空間関係が含まれており、2D と 3D の両方に対応できるようにするための 2D 自己中心画像と 3D スキャンのペアが含まれています。
私たちの実験では、RoboSpatial でトレーニングされたモデルが、空間アフォーダンス予測、空間関係予測、ロボット操作などの下流タスクでベースラインを上回るパフォーマンスを示すことが示されました。

要約(オリジナル)

Spatial understanding is a crucial capability for robots to make grounded decisions based on their environment. This foundational skill enables robots not only to perceive their surroundings but also to reason about and interact meaningfully within the world. In modern robotics, these capabilities are taken on by visual language models, and they face significant challenges when applied to spatial reasoning context due to their training data sources. These sources utilize general-purpose image datasets, and they often lack sophisticated spatial scene understanding capabilities. For example, the datasets do not address reference frame comprehension – spatial relationships require clear contextual understanding, whether from an ego-centric, object-centric, or world-centric perspective, which allow for effective real-world interaction. To address this issue, we introduce RoboSpatial, a large-scale spatial understanding dataset consisting of real indoor and tabletop scenes captured as 3D scans and egocentric images, annotated with rich spatial information relevant to robotics. The dataset includes 1M images, 5K 3D scans, and 3M annotated spatial relationships, with paired 2D egocentric images and 3D scans to make it both 2D and 3D ready. Our experiments show that models trained with RoboSpatial outperform baselines on downstream tasks such as spatial affordance prediction, spatial relationship prediction, and robotics manipulation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google