Explainable Reinforcement Learning via a Causal World Model

要約

タイトル：因果ワールドモデルによる説明可能な強化学習

要約：
– 強化学習における行動は将来的に長期的な影響を及ぼすため、説明を生成することは困難である。
– 本論文では、環境の因果関係に関する先行知識がなくても因果ワールドモデルを学習することにより、説明可能な強化学習の新しいフレームワークを開発した。
– このモデルは行動の影響を捉え、行動が環境変数にどのように影響を及ぼすか、そして最終的に報酬に至るまでの因果的な連鎖を示すことにより、行動の長期的な影響を解釈できる。
– 大多数の説明モデルが精度が低くなることがあるが、我々のモデルは精度を維持しながら説明性を向上させるため、モデルベースの学習に適用できる。
– 結果的に、我々の因果モデルは説明性と学習の橋渡しとなることが示された。

要約(オリジナル)

Generating explanations for reinforcement learning (RL) is challenging as actions may produce long-term effects on the future. In this paper, we develop a novel framework for explainable RL by learning a causal world model without prior knowledge of the causal structure of the environment. The model captures the influence of actions, allowing us to interpret the long-term effects of actions through causal chains, which present how actions influence environmental variables and finally lead to rewards. Different from most explanatory models which suffer from low accuracy, our model remains accurate while improving explainability, making it applicable in model-based learning. As a result, we demonstrate that our causal model can serve as the bridge between explainability and learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI