Human-Robot Gym: Benchmarking Reinforcement Learning in Human-Robot Collaboration

要約

深層強化学習 (RL) は、人間とロボットのコラボレーション (HRC) における初の試みにより、ロボットの動作計画において有望な結果を示しました。
しかし、安全性が保証されているという制約の下での HRC における RL アプローチの公正な比較はまだ行われていません。
そこで、HRC における安全な RL のベンチマーク スイートであるヒューマン ロボット ジムを紹介します。
当社のベンチマーク スイートは、モジュラー シミュレーション フレームワークで 8 つの挑戦的で現実的な HRC タスクを提供します。
最も重要なことは、人間とロボットのジムには、人間の安全を確実に保証する安全シールドが含まれていることです。
これにより、当社は、現実世界の HRC の安全仕様に準拠する RL エージェントをトレーニングするためのベンチマーク スイートを提供した最初の企業となります。
これにより、理論的な RL 研究と現実世界の展開との間の重大なギャップが埋められます。
6 つのタスクを評価した結果、3 つの重要な結果が得られました。(a) ヒューマン ロボット ジムが提供するタスクの多様性は、最先端の RL メソッドにとって挑戦的なベンチマークを生み出します。(b) RL トレーニングに専門知識を組み込んでいます。
アクションベースの報酬の形では、エキスパートよりも優れたパフォーマンスを発揮する可能性があり、(c) エージェントはトレーニング データに対して無視できるほど過剰適合します。

要約(オリジナル)

Deep reinforcement learning (RL) has shown promising results in robot motion planning with first attempts in human-robot collaboration (HRC). However, a fair comparison of RL approaches in HRC under the constraint of guaranteed safety is yet to be made. We, therefore, present human-robot gym, a benchmark suite for safe RL in HRC. Our benchmark suite provides eight challenging, realistic HRC tasks in a modular simulation framework. Most importantly, human-robot gym includes a safety shield that provably guarantees human safety. We are, thereby, the first to provide a benchmark suite to train RL agents that adhere to the safety specifications of real-world HRC. This bridges a critical gap between theoretic RL research and its real-world deployment. Our evaluation of six tasks led to three key results: (a) the diverse nature of the tasks offered by human-robot gym creates a challenging benchmark for state-of-the-art RL methods, (b) incorporating expert knowledge in RL training in the form of an action-based reward can outperform the expert, and (c) our agents negligibly overfit to training data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google