DexMachina: Functional Retargeting for Bimanual Dexterous Manipulation

要約

機能的なリターゲティングの問題を研究しています。人間の手観察デモからオブジェクト状態を追跡するための器用な操作ポリシーを学習します。
私たちは、大きなアクションスペース、空間的不連続性、および人間とロボットの手の間のギャップの具体化のために挑戦的である、明確なオブジェクトを持つ長老の双方向タスクに焦点を当てています。
斬新なカリキュラムベースのアルゴリズムであるDexmachinaを提案します。重要なアイデアは、仮想オブジェクトコントローラーを減衰強度で使用することです。オブジェクトは、最初にターゲット状態に向かって自動的に駆動されるため、ポリシーが動きの下で徐々に引き継ぎ、ガイダンスを接触することを学ぶことができます。
さまざまなタスクと器用な手を使用したシミュレーションベンチマークをリリースし、Dexmachinaがベースラインメソッドを大幅に上回ることを示します。
当社のアルゴリズムとベンチマークは、ハードウェア設計の機能的比較を可能にし、定量的および定性的な結果によって情報を提供する重要な調査結果を提示します。
器用な手開発の最近の急増により、この作業が望ましいハードウェア機能を特定するための有用なプラットフォームを提供し、将来の研究に貢献するための障壁を下げることを願っています。
https://project-dexmachina.github.io/でビデオなど

要約(オリジナル)

We study the problem of functional retargeting: learning dexterous manipulation policies to track object states from human hand-object demonstrations. We focus on long-horizon, bimanual tasks with articulated objects, which is challenging due to large action space, spatiotemporal discontinuities, and embodiment gap between human and robot hands. We propose DexMachina, a novel curriculum-based algorithm: the key idea is to use virtual object controllers with decaying strength: an object is first driven automatically towards its target states, such that the policy can gradually learn to take over under motion and contact guidance. We release a simulation benchmark with a diverse set of tasks and dexterous hands, and show that DexMachina significantly outperforms baseline methods. Our algorithm and benchmark enable a functional comparison for hardware designs, and we present key findings informed by quantitative and qualitative results. With the recent surge in dexterous hand development, we hope this work will provide a useful platform for identifying desirable hardware capabilities and lower the barrier for contributing to future research. Videos and more at https://project-dexmachina.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google