Causal Counterfactuals for Improving the Robustness of Reinforcement Learning

要約

強化学習 (RL) は、さまざまなロボット アプリケーションで使用されます。
RL を使用すると、エージェントは環境と対話することで自律的にタスクを学習できます。
タスクが重要であればあるほど、RL システムの堅牢性に対する要求が高くなります。
因果的 RL は、RL と因果推論を組み合わせて、RL をより堅牢にします。
因果 RL エージェントは、因果表現を使用して、あるタスクから別のタスクに転送できる不変の因果メカニズムを捕捉します。
現在、Causal RL に関する研究は限られており、既存のソリューションは通常、現実世界のアプリケーションには完全ではないか、実現可能ではありません。
この研究では、Causal Curiosity と CoPhy のアイデアを組み込んだ最初の完全な Causal RL ソリューションである CausalCF を提案します。
Causal Curiosity は介入を使用するためのアプローチを提供し、CoPhy は RL エージェントが反事実を実行できるように変更されます。
Causal Curiosity は、CausalWorld のロボットによる把握と操作のタスクに適用されています。
CausalWorld は、TriFinger ロボットに基づいた現実的なシミュレーション環境を提供します。
CausalCF を複雑なロボット タスクに適用し、CausalWorld を使用して RL エージェントの堅牢性が向上することを示します。

要約(オリジナル)

Reinforcement learning (RL) is used in various robotic applications. RL enables agents to learn tasks autonomously by interacting with the environment. The more critical the tasks are, the higher the demand for the robustness of the RL systems. Causal RL combines RL and causal inference to make RL more robust. Causal RL agents use a causal representation to capture the invariant causal mechanisms that can be transferred from one task to another. Currently, there is limited research in Causal RL, and existing solutions are usually not complete or feasible for real-world applications. In this work, we propose CausalCF, the first complete Causal RL solution incorporating ideas from Causal Curiosity and CoPhy. Causal Curiosity provides an approach for using interventions, and CoPhy is modified to enable the RL agent to perform counterfactuals. Causal Curiosity has been applied to robotic grasping and manipulation tasks in CausalWorld. CausalWorld provides a realistic simulation environment based on the TriFinger robot. We apply CausalCF to complex robotic tasks and show that it improves the RL agent’s robustness using CausalWorld.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google