Mirage: Cross-Embodiment Zero-Shot Policy Transfer with Cross-Painting

要約

収集されたデータを再利用し、トレーニングされたポリシーをロボット間で転送できる機能により、追加のデータ収集とトレーニングの負担が軽減される可能性があります。
事前トレーニングと微調整、共同トレーニングなどの既存のアプローチは有望ですが、トレーニングでは見られないロボットには一般化できません。
同様のワークスペースと 2 爪グリッパーを備えた一般的なロボット アームに焦点を当て、ゼロショット搬送の実現可能性を調査します。
8 つの操作タスクに関するシミュレーション研究を通じて、状態ベースのデカルト制御ポリシーが順ダイナミクスを考慮した上でターゲット ロボットへのゼロショット転送を成功させることができることがわかりました。
ビジョンベースのポリシーにおけるロボットの視覚的差異に対処するために、実行中にリアルタイムで「クロスペインティング」（目に見えないターゲット ロボットをマスクし、目に見えるソース ロボットを修復する）を使用して、ポリシーに表示されるようにする Mirage を導入します。
あたかも訓練されたソースロボットがタスクを実行しているかのように。
Mirage は、一人称と三人称の両方のカメラ ビューと、状態と画像の両方を入力として取り込むポリシー、または画像のみを入力として取り込むポリシーに適用されます。
そのシンプルさにも関わらず、私たちの広範なシミュレーションと物理実験は、Mirage がピッキング、スタッキング、組み立てなどのさまざまな操作タスクでパフォーマンスの低下を最小限に抑え、異なるロボット アームとグリッパー間でのゼロショット搬送に成功し、ロボットのパフォーマンスを大幅に上回っているという強力な証拠を提供します。
ゼネラリスト政策。
プロジェクトWebサイト：https://robot-mirage.github.io/

要約(オリジナル)

The ability to reuse collected data and transfer trained policies between robots could alleviate the burden of additional data collection and training. While existing approaches such as pretraining plus finetuning and co-training show promise, they do not generalize to robots unseen in training. Focusing on common robot arms with similar workspaces and 2-jaw grippers, we investigate the feasibility of zero-shot transfer. Through simulation studies on 8 manipulation tasks, we find that state-based Cartesian control policies can successfully zero-shot transfer to a target robot after accounting for forward dynamics. To address robot visual disparities for vision-based policies, we introduce Mirage, which uses ‘cross-painting’–masking out the unseen target robot and inpainting the seen source robot–during execution in real time so that it appears to the policy as if the trained source robot were performing the task. Mirage applies to both first-person and third-person camera views and policies that take in both states and images as inputs or only images as inputs. Despite its simplicity, our extensive simulation and physical experiments provide strong evidence that Mirage can successfully zero-shot transfer between different robot arms and grippers with only minimal performance degradation on a variety of manipulation tasks such as picking, stacking, and assembly, significantly outperforming a generalist policy. Project website: https://robot-mirage.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google