Holo-Dex: Teaching Dexterity with Immersive Mixed Reality

要約

ロボットを教える際の基本的な課題は、人間の教師がロボットに有用なスキルを示すための効果的なインターフェイスを提供することです。
この課題は、巧妙な操作で悪化します。高次元で接触の多い行動を教えるには、難解な遠隔操作ツールが必要になることがよくあります。
この作品では、市販の VR ヘッドセットを介して教師を没入型の複合現実に配置する器用な操作のフレームワークである Holo-Dex を紹介します。
ヘッドセットに搭載された忠実度の高い手のポーズ推定器は、ロボットを遠隔操作し、さまざまな汎用目的の器用なタスクのデモンストレーションを収集するために使用されます。
これらのデモンストレーションを考慮して、ノンパラメトリック模倣と組み合わせた強力な機能学習を使用して、器用なスキルをトレーニングします。
手で回転させる、回転させる、ボトルを開けるなどの 6 つの一般的な器用なタスクに関する私たちの実験では、Holo-Dex が高品質のデモンストレーション データを収集し、数時間でスキルを訓練できることを示しています。
最後に、トレーニングされたスキルは、トレーニングで見られないオブジェクトの一般化を示すことができることがわかりました。
Holo-Dex のビデオは、https://holo-dex.github.io で入手できます。

要約(オリジナル)

A fundamental challenge in teaching robots is to provide an effective interface for human teachers to demonstrate useful skills to a robot. This challenge is exacerbated in dexterous manipulation, where teaching high-dimensional, contact-rich behaviors often require esoteric teleoperation tools. In this work, we present Holo-Dex, a framework for dexterous manipulation that places a teacher in an immersive mixed reality through commodity VR headsets. The high-fidelity hand pose estimator onboard the headset is used to teleoperate the robot and collect demonstrations for a variety of general-purpose dexterous tasks. Given these demonstrations, we use powerful feature learning combined with non-parametric imitation to train dexterous skills. Our experiments on six common dexterous tasks, including in-hand rotation, spinning, and bottle opening, indicate that Holo-Dex can both collect high-quality demonstration data and train skills in a matter of hours. Finally, we find that our trained skills can exhibit generalization on objects not seen in training. Videos of Holo-Dex are available at https://holo-dex.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google