Deep Explainable Relational Reinforcement Learning: A Neuro-Symbolic Approach

要約

タイトル: 「Deep Explainable Relational Reinforcement Learning: A Neuro-Symbolic Approach」

要約:
– DRLは成功しているが、その学習されたポリシーは解釈できない。
– DRLは記号的な関係表現を利用しないため、環境の構造的な変化（例えばオブジェクトの増加）に対処するのが困難である。
– RRLは記号的な計画から関係表現を受け継ぎ、再利用可能なポリシーを学習することができるが、深いニューラルネットワークの力を活用することができなかった。
– この論文では、深いニューラルネットワークと記号的な計画から関係表現や制約を組み合わせた「Deep Explainable Relational Reinforcement Learning (DERRL)」フレームワークを提案する。
– DERRLの学習によって得られるポリシーは、各決定（またはアクション）がどのように到達したかを説明する論理ルールの形で表される。
– Countdown Game、Blocks World、Gridworld、Trafficなどの環境でのいくつかの実験により、DERRLによって学習されたポリシーが異なる構成や文脈に適用でき、環境の変更に一般化できることが示された。

要約(オリジナル)

Despite numerous successes in Deep Reinforcement Learning (DRL), the learned policies are not interpretable. Moreover, since DRL does not exploit symbolic relational representations, it has difficulties in coping with structural changes in its environment (such as increasing the number of objects). Relational Reinforcement Learning, on the other hand, inherits the relational representations from symbolic planning to learn reusable policies. However, it has so far been unable to scale up and exploit the power of deep neural networks. We propose Deep Explainable Relational Reinforcement Learning (DERRL), a framework that exploits the best of both — neural and symbolic worlds. By resorting to a neuro-symbolic approach, DERRL combines relational representations and constraints from symbolic planning with deep learning to extract interpretable policies. These policies are in the form of logical rules that explain how each decision (or action) is arrived at. Through several experiments, in setups like the Countdown Game, Blocks World, Gridworld, and Traffic, we show that the policies learned by DERRL can be applied to different configurations and contexts, hence generalizing to environmental modifications.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI