Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning

要約

強化学習（RL）は、複雑なロボット操作スキルの自律的な獲得を可能にするための大きな可能性を秘めていますが、実際の設定でこの可能性を実現することは困難です。
動的操作、精密アセンブリ、デュアルアーム調整など、さまざまな器用な操作タスクで印象的なパフォーマンスを実証するループインビジョンベースのRLシステムを紹介します。
当社のアプローチは、デモンストレーションと人間の修正、効率的なRLアルゴリズム、およびその他のシステムレベルの設計の選択を統合して、トレーニングからわずか1〜2.5時間以内にほぼ完璧な成功率と高速サイクル時間を達成するポリシーを学習します。
私たちの方法は、成功率が平均2倍改善され、1.8倍の速い実行で、模倣学習ベースラインと以前のRLアプローチを大幅に上回ることを示しています。
広範な実験と分析を通じて、私たちのアプローチの有効性に関する洞察を提供し、反応的制御戦略と予測制御戦略の両方に対して堅牢で適応的なポリシーをどのように学習するかを示します。
我々の結果は、RLが実際に実践的なトレーニング時間内に現実の世界で直接、幅広い複雑な視覚ベースの操作ポリシーを学ぶことができることを示唆しています。
この作品が、産業用途と研究の進歩の両方に利益をもたらし、学んだロボット操作技術の新世代に刺激を与えることを願っています。
ビデオとコードは、プロジェクトWebサイトhttps://hil-serl.github.io/で入手できます。

要約(オリジナル)

Reinforcement learning (RL) holds great promise for enabling autonomous acquisition of complex robotic manipulation skills, but realizing this potential in real-world settings has been challenging. We present a human-in-the-loop vision-based RL system that demonstrates impressive performance on a diverse set of dexterous manipulation tasks, including dynamic manipulation, precision assembly, and dual-arm coordination. Our approach integrates demonstrations and human corrections, efficient RL algorithms, and other system-level design choices to learn policies that achieve near-perfect success rates and fast cycle times within just 1 to 2.5 hours of training. We show that our method significantly outperforms imitation learning baselines and prior RL approaches, with an average 2x improvement in success rate and 1.8x faster execution. Through extensive experiments and analysis, we provide insights into the effectiveness of our approach, demonstrating how it learns robust, adaptive policies for both reactive and predictive control strategies. Our results suggest that RL can indeed learn a wide range of complex vision-based manipulation policies directly in the real world within practical training times. We hope this work will inspire a new generation of learned robotic manipulation techniques, benefiting both industrial applications and research advancements. Videos and code are available at our project website https://hil-serl.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google