Augmented Reality for RObots (ARRO): Pointing Visuomotor Policies Towards Visual Robustness

要約

人間の専門家のデモンストレーションで訓練された視覚運動ポリシーは、最近、幅広いロボット操作タスクで強力なパフォーマンスを示しています。
ただし、これらのポリシーは、バックグラウンドまたはロボットの具体化の変化に起因するドメインシフトに非常に敏感なままであり、一般化能力を制限します。
このホワイトペーパーでは、追加のトレーニングを必要とせずにシーンのタスクに関係なく領域を効率的にマスクするために、ゼロショットのオープンボキャブラリーセグメンテーションとオブジェクト検出モデルを活用する新しいキャリブレーションのない視覚表現であるArroを提示します。
視覚的なディストラクタをフィルタリングし、トレーニングと推論の両方で仮想ガイドをオーバーレイすることにより、アラロはシーンのバリエーションに対する堅牢性を向上させ、追加のデータ収集の必要性を減らします。
シミュレーションと現実世界の両方の環境でのいくつかの卓上操作タスクに関する拡散ポリシーでアラロを広範囲に評価し、OctoやOpenVLAなどのジェネラリストロボットポリシーとの互換性と有効性をさらに実証します。
評価のすべての設定にわたって、ARROは一貫したパフォーマンスの向上を生み出し、選択的なマスキングが異なるオブジェクトを選択できるようにし、セグメンテーション条件に挑戦することさえ堅牢性を示します。
結果を紹介するビデオは、augmentedreality-for-robots.github.ioで入手できます

要約(オリジナル)

Visuomotor policies trained on human expert demonstrations have recently shown strong performance across a wide range of robotic manipulation tasks. However, these policies remain highly sensitive to domain shifts stemming from background or robot embodiment changes, which limits their generalization capabilities. In this paper, we present ARRO, a novel calibration-free visual representation that leverages zero-shot open-vocabulary segmentation and object detection models to efficiently mask out task-irrelevant regions of the scene without requiring additional training. By filtering visual distractors and overlaying virtual guides during both training and inference, ARRO improves robustness to scene variations and reduces the need for additional data collection. We extensively evaluate ARRO with Diffusion Policy on several tabletop manipulation tasks in both simulation and real-world environments, and further demonstrate its compatibility and effectiveness with generalist robot policies, such as Octo and OpenVLA. Across all settings in our evaluation, ARRO yields consistent performance gains, allows for selective masking to choose between different objects, and shows robustness even to challenging segmentation conditions. Videos showcasing our results are available at: augmented-reality-for-robots.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google