Polybot: Training One Policy Across Robots While Embracing Variability

要約

ロボット データセットの収集にはコストがかかるため、ビジョンベースのロボット マニピュレータを日常のシナリオに合わせて拡張するには、大規模なデータセットを再利用することが重要です。
ただし、ロボット プラットフォームにはさまざまな制御スキーム、カメラの視点、運動学的構成、エンドエフェクターの形態があり、あるプラットフォームから別のプラットフォームに操作スキルを移行する際に大きな課題が生じます。
この問題に取り組むために、複数のロボット プラットフォームに展開する単一のポリシーをトレーニングするための一連の主要な設計上の決定を提案します。
私たちのフレームワークは、まずリストカメラと統一されたモジュール式のコードベースを利用して、実施形態全体でポリシーの観察と行動の空間を調整します。
残りのドメインシフトを橋渡しするために、対照学習を通じて実施形態全体でポリシーの内部表現を調整します。
私たちは、6 つのタスクと、関節構成とサイズが異なる 3 台のロボット (WidowX 250S、Franka Emika Panda、Sawyer) にまたがる 60 時間以上にわたって収集されたデータセットでメソッドを評価しました。
私たちの結果は、別のロボットで収集された新しいタスク データを使用した場合のポリシーの成功率とサンプル効率が大幅に向上していることを示しており、提案された設計上の決定が検証されています。
詳細とビデオは、匿名化されたプロジェクト Web サイトでご覧いただけます: https://sites.google.com/view/polybot-multirobot

要約(オリジナル)

Reusing large datasets is crucial to scale vision-based robotic manipulators to everyday scenarios due to the high cost of collecting robotic datasets. However, robotic platforms possess varying control schemes, camera viewpoints, kinematic configurations, and end-effector morphologies, posing significant challenges when transferring manipulation skills from one platform to another. To tackle this problem, we propose a set of key design decisions to train a single policy for deployment on multiple robotic platforms. Our framework first aligns the observation and action spaces of our policy across embodiments via utilizing wrist cameras and a unified, but modular codebase. To bridge the remaining domain shift, we align our policy’s internal representations across embodiments through contrastive learning. We evaluate our method on a dataset collected over 60 hours spanning 6 tasks and 3 robots with varying joint configurations and sizes: the WidowX 250S, the Franka Emika Panda, and the Sawyer. Our results demonstrate significant improvements in success rate and sample efficiency for our policy when using new task data collected on a different robot, validating our proposed design decisions. More details and videos can be found on our anonymized project website: https://sites.google.com/view/polybot-multirobot

arxiv情報

提供元, 利用サービス

arxiv.jp, Google