Robustness Evaluation of Offline Reinforcement Learning for Robot Control Against Action Perturbations

要約

環境との相互作用なしにデータセットのみから学習するオフライン強化学習が注目を集めています。
このアプローチは、従来のオンライン深層強化学習と同様、ロボット制御アプリケーションに特に有望です。
それにもかかわらず、ロボットの関節アクチュエーターの故障など、現実世界の課題に対するその堅牢性は依然として重大な懸念事項です。
この研究では、平均エピソード報酬に基づいて、OpenAI Gym の脚式ロボットを使用した既存のオフライン強化学習手法の堅牢性を評価します。
ロバスト性評価では、最悪のシナリオを表すランダムな摂動と敵対的な摂動の両方を関節トルク信号に組み込むことで故障をシミュレートします。
私たちの実験では、既存のオフライン強化学習手法はこれらのアクションの摂動​​に対して重大な脆弱性を示し、オンライン強化学習手法よりも脆弱であることが示されており、この分野でより堅牢なアプローチの必要性が強調されています。

要約(オリジナル)

Offline reinforcement learning, which learns solely from datasets without environmental interaction, has gained attention. This approach, similar to traditional online deep reinforcement learning, is particularly promising for robot control applications. Nevertheless, its robustness against real-world challenges, such as joint actuator faults in robots, remains a critical concern. This study evaluates the robustness of existing offline reinforcement learning methods using legged robots from OpenAI Gym based on average episodic rewards. For robustness evaluation, we simulate failures by incorporating both random and adversarial perturbations, representing worst-case scenarios, into the joint torque signals. Our experiments show that existing offline reinforcement learning methods exhibit significant vulnerabilities to these action perturbations and are more vulnerable than online reinforcement learning methods, highlighting the need for more robust approaches in this field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google