Learning Generalizable Dexterous Manipulation from Human Grasp Affordance

要約

マルチフィンガーハンドによる器用な操作は、ロボット工学で最も困難な問題の1つです。
模倣学習の最近の進歩により、強化学習と比較してサンプルの効率が大幅に向上しましたが、専門家によるデモンストレーションが限られているため、学習したポリシーを一般化して新しいオブジェクトを操作することはほとんどできません。
本論文では、人間の把握アフォーダンスモデルから生成されたカテゴリ内の多様な3Dオブジェクトを使用した大規模なデモンストレーションを使用して器用な操作を学習することを提案します。
これにより、ポリシーが同じカテゴリ内の新しいオブジェクトインスタンスに一般化されます。
ポリシーをトレーニングするために、デモンストレーションを使用して、幾何学的表現学習目標と共同で新しい模倣学習目標を提案します。
シミュレーションでさまざまなオブジェクトを再配置することを実験することにより、新しいオブジェクトを操作するときに、私たちのアプローチがベースラインを大幅に上回っていることを示します。
また、操作のための3Dオブジェクト表現学習の重要性を排除します。
プロジェクトのWebサイト（https://kristery.github.io/ILAD/）にビデオ、コード、および追加情報が含まれています。

要約(オリジナル)

Dexterous manipulation with a multi-finger hand is one of the most challenging problems in robotics. While recent progress in imitation learning has largely improved the sample efficiency compared to Reinforcement Learning, the learned policy can hardly generalize to manipulate novel objects, given limited expert demonstrations. In this paper, we propose to learn dexterous manipulation using large-scale demonstrations with diverse 3D objects in a category, which are generated from a human grasp affordance model. This generalizes the policy to novel object instances within the same category. To train the policy, we propose a novel imitation learning objective jointly with a geometric representation learning objective using our demonstrations. By experimenting with relocating diverse objects in simulation, we show that our approach outperforms baselines with a large margin when manipulating novel objects. We also ablate the importance on 3D object representation learning for manipulation. We include videos, code, and additional information on the project website – https://kristery.github.io/ILAD/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google