Learning Adaptive Dexterous Grasping from Single Demonstrations

要約

ロボットは、器用な把握スキルを効率的に把握し、ユーザーの指示に基づいて適応的に適用するにはどうすればよいですか？
この作業は、2つの重要な課題に取り組んでいます。限られた人間のデモンストレーションとコンテキスト主導のスキル選択からの効率的なスキル獲得です。
AdadexGraspを紹介します。これは、スキルごとに単一の人間のデモからスキルを把握するライブラリを学習し、ビジョン言語モデル（VLM）を使用して最も適切なスキルを選択するフレームワークを紹介します。
サンプルの効率を改善するために、探査の柔軟性を可能にしながら、人間のデモに近い状態に強化学習（RL）を導く報酬に続いて軌跡を提案します。
単一のデモンストレーションを超えて学習するために、カリキュラム学習を採用し、オブジェクトを増やしてバリエーションを増やして堅牢性を高めます。
展開時に、VLMはユーザーの命令に基づいて適切なスキルを取得し、高レベルの学習スキルを高レベルの意図でブリッジングします。
シミュレーションと現実世界の両方の設定でAdadexGraspを評価し、私たちのアプローチがRL効率を大幅に改善し、さまざまなオブジェクト構成全体で人間のような把握戦略を学習できることを示しています。
最後に、学習したポリシーを現実世界のPsyonic能力の手にゼロショット転送を示し、オブジェクト全体で90％の成功率があり、ベースラインを大幅に上回っています。

要約(オリジナル)

How can robots learn dexterous grasping skills efficiently and apply them adaptively based on user instructions? This work tackles two key challenges: efficient skill acquisition from limited human demonstrations and context-driven skill selection. We introduce AdaDexGrasp, a framework that learns a library of grasping skills from a single human demonstration per skill and selects the most suitable one using a vision-language model (VLM). To improve sample efficiency, we propose a trajectory following reward that guides reinforcement learning (RL) toward states close to a human demonstration while allowing flexibility in exploration. To learn beyond the single demonstration, we employ curriculum learning, progressively increasing object pose variations to enhance robustness. At deployment, a VLM retrieves the appropriate skill based on user instructions, bridging low-level learned skills with high-level intent. We evaluate AdaDexGrasp in both simulation and real-world settings, showing that our approach significantly improves RL efficiency and enables learning human-like grasp strategies across varied object configurations. Finally, we demonstrate zero-shot transfer of our learned policies to a real-world PSYONIC Ability Hand, with a 90% success rate across objects, significantly outperforming the baseline.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google