Sim-to-Real Reinforcement Learning for Vision-Based Dexterous Manipulation on Humanoids

要約

強化学習は、多様な問題ドメイン全体で人間または超人レベルの能力を達成するための有望な結果をもたらしましたが、器用なロボット操作の成功は依然として限られています。
この研究では、補強学習を適用して、ヒューマノイドの実施形態に関する接触豊富な操作タスクのコレクションを解決するための重要な課題を調査します。
実証的検証で特定された課題を克服するための新しいテクニックを紹介します。
私たちの主な貢献には、シミュレートされた環境を現実の世界に近づける自動化された実質からSIMからSIMからSIMからSIMまでのチューニングモジュールが含まれます。これは、長老の接触豊富な操作タスクの報酬エンジニアリングを簡素化する一般化された報酬設計スキームです。
各手法に関するアブレーション研究で、3つのヒューマノイド器用な操作タスクで有望な結果を示します。
私たちの作品は、SIM-to-Real強化学習を使用して、人間のデモを必要とせずに堅牢な一般化と高性能を達成することを使用して、ヒューマノイドの器用な操作を学習するための成功したアプローチを提示します。

要約(オリジナル)

Reinforcement learning has delivered promising results in achieving human- or even superhuman-level capabilities across diverse problem domains, but success in dexterous robot manipulation remains limited. This work investigates the key challenges in applying reinforcement learning to solve a collection of contact-rich manipulation tasks on a humanoid embodiment. We introduce novel techniques to overcome the identified challenges with empirical validation. Our main contributions include an automated real-to-sim tuning module that brings the simulated environment closer to the real world, a generalized reward design scheme that simplifies reward engineering for long-horizon contact-rich manipulation tasks, a divide-and-conquer distillation process that improves the sample efficiency of hard-exploration problems while maintaining sim-to-real performance, and a mixture of sparse and dense object representations to bridge the sim-to-real perception gap. We show promising results on three humanoid dexterous manipulation tasks, with ablation studies on each technique. Our work presents a successful approach to learning humanoid dexterous manipulation using sim-to-real reinforcement learning, achieving robust generalization and high performance without the need for human demonstration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google