Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning

要約

強化学習 (RL) は、複雑なロボット操作スキルの自律的な習得を可能にする大きな可能性を秘めていますが、現実世界の設定でこの可能性を実現することは困難でした。
我々は、動的な操作、精密な組み立て、双腕の調整など、さまざまな器用な操作タスクで優れたパフォーマンスを発揮する、ヒューマンインザループのビジョンベースの RL システムを紹介します。
私たちのアプローチは、デモンストレーションと人間による修正、効率的な RL アルゴリズム、その他のシステム レベルの設計選択肢を統合して、わずか 1 ～ 2.5 時間のトレーニング内でほぼ完璧な成功率と短いサイクル タイムを達成するポリシーを学習します。
私たちの手法は模倣学習ベースラインや以前の RL アプローチよりも大幅に優れており、成功率が平均 2 倍向上し、実行が 1.8 倍高速であることがわかります。
広範な実験と分析を通じて、私たちのアプローチの有効性についての洞察を提供し、事後対応制御戦略と予測制御戦略の両方に対する堅牢で適応的なポリシーを学習する方法を実証します。
私たちの結果は、RL が実践的なトレーニング時間内に、現実世界で直接、広範囲にわたる複雑なビジョンベースの操作ポリシーを実際に学習できることを示唆しています。
私たちは、この研究が新世代の学習されたロボット操作技術にインスピレーションを与え、産業応用と研究の進歩の両方に利益をもたらすことを願っています。
ビデオとコードは、プロジェクト Web サイト https://hil-serl.github.io/ で入手できます。

要約(オリジナル)

Reinforcement learning (RL) holds great promise for enabling autonomous acquisition of complex robotic manipulation skills, but realizing this potential in real-world settings has been challenging. We present a human-in-the-loop vision-based RL system that demonstrates impressive performance on a diverse set of dexterous manipulation tasks, including dynamic manipulation, precision assembly, and dual-arm coordination. Our approach integrates demonstrations and human corrections, efficient RL algorithms, and other system-level design choices to learn policies that achieve near-perfect success rates and fast cycle times within just 1 to 2.5 hours of training. We show that our method significantly outperforms imitation learning baselines and prior RL approaches, with an average 2x improvement in success rate and 1.8x faster execution. Through extensive experiments and analysis, we provide insights into the effectiveness of our approach, demonstrating how it learns robust, adaptive policies for both reactive and predictive control strategies. Our results suggest that RL can indeed learn a wide range of complex vision-based manipulation policies directly in the real world within practical training times. We hope this work will inspire a new generation of learned robotic manipulation techniques, benefiting both industrial applications and research advancements. Videos and code are available at our project website https://hil-serl.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google