RoboGround: Robotic Manipulation with Grounded Vision-Language Priors

要約

ロボット操作の最近の進歩は、政策一般化を改善するための中間表現の可能性を強調しています。
この作業では、効果的な中間表現として接地マスクを探索し、2つの重要な利点のバランスを取ります。（1）ターゲットオブジェクトと配置領域を指定しながら、オブジェクトの形状とサイズに関する情報を伝える効果的な空間ガイダンス、および（2）多様な接地データセットに前処理された大規模な視覚層モデルによって駆動される広範な一般化ポテンシャル。
オブジェクト操作タスクのポリシーネットワークを導くための中間表現として接地マスクを活用する接地認識ロボット操作システムであるRobogroundを紹介します。
一般化をさらに調査して強化するために、オブジェクトと命令の多様なセットを使用して、大規模でシミュレートされたデータを生成するための自動パイプラインを提案します。
広範な実験は、データセットの価値と、中間ガイダンスとしての接地マスクの有効性を示しており、ロボットポリシーの一般化能力を大幅に向上させています。

要約(オリジナル)

Recent advancements in robotic manipulation have highlighted the potential of intermediate representations for improving policy generalization. In this work, we explore grounding masks as an effective intermediate representation, balancing two key advantages: (1) effective spatial guidance that specifies target objects and placement areas while also conveying information about object shape and size, and (2) broad generalization potential driven by large-scale vision-language models pretrained on diverse grounding datasets. We introduce RoboGround, a grounding-aware robotic manipulation system that leverages grounding masks as an intermediate representation to guide policy networks in object manipulation tasks. To further explore and enhance generalization, we propose an automated pipeline for generating large-scale, simulated data with a diverse set of objects and instructions. Extensive experiments show the value of our dataset and the effectiveness of grounding masks as intermediate guidance, significantly enhancing the generalization abilities of robot policies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google