ExoStart: Efficient learning for dexterous manipulation with sensorized exoskeleton demonstrations

要約

テレオ操作システムにおける最近の進歩により、ロボットマニピュレーターの高品質のデータ収集が可能になり、大規模な学習操作における印象的な結果が示されています。
この進歩は、これらの機能をロボットの手に拡張することで、特に人間の手が示す同じレベルの器用さを達成できる場合、さらに幅広い操作スキルのロックを解除できることを示唆しています。
ただし、テレオパのロボットハンドは、ロボットの手の自由度が高く、コンタクトリッチな設定中に発生する複雑なダイナミクスのために大きな課題を提示するため、解決された問題とはほど遠いものです。
この作業では、人間の器用さを活用してロボットハンドコントロールを改善する一般的でスケーラブルな学習フレームワークであるExostartを提示します。
特に、センサー化された低コストのウェアラブル外骨格を使用して、ループにロボットを使用して直接デモンストレーションを収集し、人間が自分の手でデモンストレーションできる豊富な行動をキャプチャすることにより、高品質のデータを取得します。
また、収集されたデモから動的に実行可能な軌道を生成するシミュレーションベースのダイナミクスフィルターを提案し、生成された軌道を使用して、単純なスパース報酬のみに依存する自動カリキュラム補強学習方法をブートストラップします。
Exostartパイプラインは一般化可能であり、ゼロショットを実際のロボットに転送する堅牢なポリシーを生成します。
我々の結果は、Exostartが器用な現実世界のハンドスキルを生成し、AirPodsケースの開設やロックのキーを挿入して回すなど、幅広い複雑なタスクで50％を超える成功率を達成できることを示しています。
詳細とビデオは、https：//sites.google.com/view/exostartをご覧ください。

要約(オリジナル)

Recent advancements in teleoperation systems have enabled high-quality data collection for robotic manipulators, showing impressive results in learning manipulation at scale. This progress suggests that extending these capabilities to robotic hands could unlock an even broader range of manipulation skills, especially if we could achieve the same level of dexterity that human hands exhibit. However, teleoperating robotic hands is far from a solved problem, as it presents a significant challenge due to the high degrees of freedom of robotic hands and the complex dynamics occurring during contact-rich settings. In this work, we present ExoStart, a general and scalable learning framework that leverages human dexterity to improve robotic hand control. In particular, we obtain high-quality data by collecting direct demonstrations without a robot in the loop using a sensorized low-cost wearable exoskeleton, capturing the rich behaviors that humans can demonstrate with their own hands. We also propose a simulation-based dynamics filter that generates dynamically feasible trajectories from the collected demonstrations and use the generated trajectories to bootstrap an auto-curriculum reinforcement learning method that relies only on simple sparse rewards. The ExoStart pipeline is generalizable and yields robust policies that transfer zero-shot to the real robot. Our results demonstrate that ExoStart can generate dexterous real-world hand skills, achieving a success rate above 50% on a wide range of complex tasks such as opening an AirPods case or inserting and turning a key in a lock. More details and videos can be found in https://sites.google.com/view/exostart.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google