Raising Body Ownership in End-to-End Visuomotor Policy Learning via Robot-Centric Pooling

要約

我々は、ロボットと同様のエンティティまたはその周囲の環境を区別できるようにすることで、エンドツーエンドの視覚運動ポリシーを強化するように設計された新しいプーリング手法であるロボット中心プーリング（RcP）を紹介します。
画像と固有受容のペアが与えられると、RcP はロボットの固有受容状態と相関する画像領域を強調表示することで画像特徴の集約をガイドし、それによってポリシー学習用のロボット中心の画像表現を抽出します。
対照的な学習技術を活用することで、RcP は既存の視覚運動ポリシー学習フレームワークとシームレスに統合され、同じデータセットを使用してポリシーと共同でトレーニングされるため、自己注意力を伴う追加のデータ収集は必要ありません。
シミュレーション設定と現実世界の設定の両方でタスクに到達することで、提案された方法を評価します。
この結果は、RcP が、さまざまな場所に配置された自己気を散らすものを含む、目に見えないさまざまな気を散らすものに対するポリシーの堅牢性を大幅に強化することを示しています。
さらに、RcP の固有のロボット中心の特性により、学習されたポリシーは、ベースラインと比較して、積極的なピクセル シフトに対する回復力がはるかに高くなります。

要約(オリジナル)

We present Robot-centric Pooling (RcP), a novel pooling method designed to enhance end-to-end visuomotor policies by enabling differentiation between the robots and similar entities or their surroundings. Given an image-proprioception pair, RcP guides the aggregation of image features by highlighting image regions correlating with the robot’s proprioceptive states, thereby extracting robot-centric image representations for policy learning. Leveraging contrastive learning techniques, RcP integrates seamlessly with existing visuomotor policy learning frameworks and is trained jointly with the policy using the same dataset, requiring no extra data collection involving self-distractors. We evaluate the proposed method with reaching tasks in both simulated and real-world settings. The results demonstrate that RcP significantly enhances the policies’ robustness against various unseen distractors, including self-distractors, positioned at different locations. Additionally, the inherent robot-centric characteristic of RcP enables the learnt policy to be far more resilient to aggressive pixel shifts compared to the baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google