Safety-Driven Deep Reinforcement Learning Framework for Cobots: A Sim2Real Approach

要約

この研究では、深層強化学習 (DRL) のトレーニング中にロボット シミュレーションに安全制約を組み込む新しい方法論を紹介します。
このフレームワークは、ISO 10218 で指定されている速度制約などの安全要件の特定の部分を、ロボットの学習アルゴリズムの一部となる DRL モデル内に直接統合します。
次に研究では、障害物回避の有無にかかわらずタスクを把握するなどのさまざまなシナリオを DRL モデルに適用することで、これらの安全制約の効率を評価しました。
検証プロセスには、潜在的な危険に対する DRL モデルの応答とそのコンプライアンスの包括的なシミュレーションベースのテストが含まれます。
また、システムのパフォーマンスは、機能安全規格 IEC 61508 に従って実行され、安全完全性レベルが決定されます。
この研究では、ロボット システムの安全性能が大幅に向上していることが示されました。
提案された DRL モデルは、運用効率を維持しながら危険を予測して軽減します。
この研究は、安全センサーを備えた協働ロボットアームを備えたテストベッドで検証され、安全違反の平均数、障害物回避、掴み成功数などの指標で評価されました。
提案されたアプローチは、安全性違反なしで、シミュレーションでテストされたシナリオでの平均成功率が 16.5%、テストベッドでの平均成功率が 2.5% で、従来の方法を上回っています。
プロジェクト リポジトリは、https://github.com/ammar-n-abbas/sim2real-ur-gym-gazebo で入手できます。

要約(オリジナル)

This study presents a novel methodology incorporating safety constraints into a robotic simulation during the training of deep reinforcement learning (DRL). The framework integrates specific parts of the safety requirements, such as velocity constraints, as specified by ISO 10218, directly within the DRL model that becomes a part of the robot’s learning algorithm. The study then evaluated the efficiency of these safety constraints by subjecting the DRL model to various scenarios, including grasping tasks with and without obstacle avoidance. The validation process involved comprehensive simulation-based testing of the DRL model’s responses to potential hazards and its compliance. Also, the performance of the system is carried out by the functional safety standards IEC 61508 to determine the safety integrity level. The study indicated a significant improvement in the safety performance of the robotic system. The proposed DRL model anticipates and mitigates hazards while maintaining operational efficiency. This study was validated in a testbed with a collaborative robotic arm with safety sensors and assessed with metrics such as the average number of safety violations, obstacle avoidance, and the number of successful grasps. The proposed approach outperforms the conventional method by a 16.5% average success rate on the tested scenarios in the simulations and 2.5% in the testbed without safety violations. The project repository is available at https://github.com/ammar-n-abbas/sim2real-ur-gym-gazebo.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google