要約
近年のロボット工学と模倣学習では、多数の実施形態にわたるデータを活用することによる大規模基礎モデルのトレーニングにおいて目覚ましい進歩が見られます。
このような政策が成功すると、私たちは次のような疑問を抱くかもしれません。前向きな転移を促進しながら、トレーニングセット内のロボットはどれほど多様性に富むことができるのでしょうか?
この研究では、異種の実施形態のコンテキストでこの問題を研究し、ロボットのナビゲーションや操作など、一見非常に異なるドメインでさえ、同じモデルのトレーニングデータに含まれている場合にどのように利点を提供できるかを調べます。
ロボット アーム、クアッドコプター、四足歩行機、移動基地を制御できる、単一の目標条件付きポリシーをトレーニングします。
次に、これらの実施形態を単一の目標達成タスクとしてフレーム化することにより、これらの実施形態のナビゲーションおよび操作にわたって転送がどの程度発生するかを調査する。
ナビゲーション データとの共同トレーニングにより、手首に取り付けたカメラを使用した目標条件付き操作の堅牢性とパフォーマンスを向上できることがわかりました。
次に、ナビゲーション専用データと静的操作専用データのみからトレーニングされたポリシーをモバイル マニピュレータに展開し、ゼロショット方式で新しい実施形態を制御できることを示します。
これらの結果は、大規模なロボット政策がさまざまな実施形態にわたって収集されたデータから利益を得ることができるという証拠を提供する。
さらに詳しい情報とロボットのビデオは、プロジェクト Web サイト http://extreme-cross-embodiment.github.io でご覧いただけます。
要約(オリジナル)
Recent years in robotics and imitation learning have shown remarkable progress in training large-scale foundation models by leveraging data across a multitude of embodiments. The success of such policies might lead us to wonder: just how diverse can the robots in the training set be while still facilitating positive transfer? In this work, we study this question in the context of heterogeneous embodiments, examining how even seemingly very different domains, such as robotic navigation and manipulation, can provide benefits when included in the training data for the same model. We train a single goal-conditioned policy that is capable of controlling robotic arms, quadcopters, quadrupeds, and mobile bases. We then investigate the extent to which transfer can occur across navigation and manipulation on these embodiments by framing them as a single goal-reaching task. We find that co-training with navigation data can enhance robustness and performance in goal-conditioned manipulation with a wrist-mounted camera. We then deploy our policy trained only from navigation-only and static manipulation-only data on a mobile manipulator, showing that it can control a novel embodiment in a zero-shot manner. These results provide evidence that large-scale robotic policies can benefit from data collected across various embodiments. Further information and robot videos can be found on our project website http://extreme-cross-embodiment.github.io.
arxiv情報
| 著者 | Jonathan Yang,Catherine Glossop,Arjun Bhorkar,Dhruv Shah,Quan Vuong,Chelsea Finn,Dorsa Sadigh,Sergey Levine |
| 発行日 | 2024-02-29 18:30:32+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google