SRL-VIC: A Variable Stiffness-Based Safe Reinforcement Learning for Contact-Rich Robotic Tasks

要約

強化学習（RL）は、複雑で連続的なロボットタスクにおける有望なパラダイムとして浮上していますが、特に非構造化環境における接触の多い操作タスクでは、安全な探索が主要な課題の 1 つとなっています。
この問題に焦点を当て、可変インピーダンス コントローラー (VIC) と組み合わせたモデルフリーの安全な RL フレームワークである SRL-VIC を提案します。
具体的には、安全性評論家と回復ポリシーのネットワークは事前にトレーニングされており、安全性評論家は実行前にリスク値を使用して次のアクションの安全性を評価し、リスク値が高い場合には回復ポリシーが修正措置を提案します。
さらに、ポリシーはオンラインで更新され、タスク ポリシーはタスクを達成するだけでなく、安全で準拠したプロファイルを維持するために剛性パラメータも調整します。
接触の多い迷路タスクにおける一連の実験は、私たちのフレームワークがベースライン（回復メカニズムなしおよび VIC なし）を上回っており、効率的なタスクの達成と安全性の保証との間に良好なトレードオフが得られることを実証しています。
シミュレーションでトレーニングされたポリシーが微調整なしで物理ロボットに展開でき、堅牢性と汎用性を備えたタスクの正常な完了を達成できることを示します。
ビデオは https://youtu.be/ksWXR3vByoQ でご覧いただけます。

要約(オリジナル)

Reinforcement learning (RL) has emerged as a promising paradigm in complex and continuous robotic tasks, however, safe exploration has been one of the main challenges, especially in contact-rich manipulation tasks in unstructured environments. Focusing on this issue, we propose SRL-VIC: a model-free safe RL framework combined with a variable impedance controller (VIC). Specifically, safety critic and recovery policy networks are pre-trained where safety critic evaluates the safety of the next action using a risk value before it is executed and the recovery policy suggests a corrective action if the risk value is high. Furthermore, the policies are updated online where the task policy not only achieves the task but also modulates the stiffness parameters to keep a safe and compliant profile. A set of experiments in contact-rich maze tasks demonstrate that our framework outperforms the baselines (without the recovery mechanism and without the VIC), yielding a good trade-off between efficient task accomplishment and safety guarantee. We show our policy trained on simulation can be deployed on a physical robot without fine-tuning, achieving successful task completion with robustness and generalization. The video is available at https://youtu.be/ksWXR3vByoQ.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google