Dexterous Functional Grasping

要約

器用な操作は大幅に進歩しましたが、そのほとんどは、手の向きを変えるなど、現実世界ではあまり役に立たないベンチマークタスクに限定されています。
二本指の手よりも器用な手の主な利点は、ツールやその他の物体 (薄いものも含む) を持ち上げて、それらをしっかりと掴んで力を加えることができることです。
ただし、このタスクには、機能的なアフォーダンスの複雑な理解と、正確な低レベルの制御の両方が必要です。
これまでの研究では人間のデータからアフォーダンスを取得していましたが、このアプローチは低レベルの制御には対応できません。
同様に、シミュレーション トレーニングでは、ロボットに現実世界のセマンティクスを理解させることはできません。
この論文では、両方の長所を組み合わせて、自然界の物体を機能的に把握することを目指しています。
私たちはモジュール式のアプローチを採用しています。
まず、さまざまなオブジェクトの対応する領域を照合することでアフォーダンスが取得され、それを把握するためにシミュレーションでトレーニングされた低レベルのポリシーが実行されます。
我々は、少量の人間データを使用して RL の探索空間を縮小するための固有把握の新しいアプリケーションを提案し、それがより安定した物理的に現実的な動きにつながることを発見しました。
固有把握アクション空間はシミュレーションのベースラインを上回り、実際のハードコードされた把握を上回り、訓練された人間の遠隔操作者と同等またはそれを上回るパフォーマンスを示すことがわかりました。
結果の視覚化とビデオは https://dexfunc.github.io/ にあります。

要約(オリジナル)

While there have been significant strides in dexterous manipulation, most of it is limited to benchmark tasks like in-hand reorientation which are of limited utility in the real world. The main benefit of dexterous hands over two-fingered ones is their ability to pickup tools and other objects (including thin ones) and grasp them firmly to apply force. However, this task requires both a complex understanding of functional affordances as well as precise low-level control. While prior work obtains affordances from human data this approach doesn’t scale to low-level control. Similarly, simulation training cannot give the robot an understanding of real-world semantics. In this paper, we aim to combine the best of both worlds to accomplish functional grasping for in-the-wild objects. We use a modular approach. First, affordances are obtained by matching corresponding regions of different objects and then a low-level policy trained in sim is run to grasp it. We propose a novel application of eigengrasps to reduce the search space of RL using a small amount of human data and find that it leads to more stable and physically realistic motion. We find that eigengrasp action space beats baselines in simulation and outperforms hardcoded grasping in real and matches or outperforms a trained human teleoperator. Results visualizations and videos at https://dexfunc.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google