Human-Robot Gym: Benchmarking Reinforcement Learning in Human-Robot Collaboration

要約

深層強化学習 (RL) は、人間とロボットのコラボレーション (HRC) における初の試みにより、ロボットの動作計画において有望な結果を示しました。
しかし、安全性が保証されているという制約の下での HRC における RL アプローチの公正な比較はまだ行われていません。
したがって、私たちは、HRC における安全な RL のベンチマークである人間とロボットのジムを紹介します。
私たちのベンチマークは、モジュラー シミュレーション フレームワークで 8 つの挑戦的で現実的な HRC タスクを提供します。
最も重要なことは、人間とロボットのジムには、人間の安全を確実に保証する安全シールドが含まれていることです。
これにより、当社は、現実世界の HRC の安全仕様に準拠する RL エージェントをトレーニングするためのベンチマークを提供した最初の企業となります。
これにより、理論的な RL 研究と現実世界の展開との間の重大なギャップが埋められます。
6 つの環境を評価した結果、次の 3 つの重要な結果が得られました。(a) ヒューマン ロボット ジムによって提供されるタスクの多様性は、最先端の RL 手法にとって挑戦的なベンチマークを生み出します。(b) RL に専門知識が組み込まれています。
アクションベースの報酬の形でのトレーニングはエキスパートを上回る可能性があり、(c) エージェントはトレーニング データに対して無視できるほど過剰適合します。

要約(オリジナル)

Deep reinforcement learning (RL) has shown promising results in robot motion planning with first attempts in human-robot collaboration (HRC). However, a fair comparison of RL approaches in HRC under the constraint of guaranteed safety is yet to be made. We, therefore, present human-robot gym, a benchmark for safe RL in HRC. Our benchmark provides eight challenging, realistic HRC tasks in a modular simulation framework. Most importantly, human-robot gym includes a safety shield that provably guarantees human safety. We are, thereby, the first to provide a benchmark to train RL agents that adhere to the safety specifications of real-world HRC. This bridges a critical gap between theoretic RL research and its real-world deployment. Our evaluation of six environments led to three key results: (a) the diverse nature of the tasks offered by human-robot gym creates a challenging benchmark for state-of-the-art RL methods, (b) incorporating expert knowledge in the RL training in the form of an action-based reward can outperform the expert, and (c) our agents negligibly overfit to training data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google