Interpretable and Explainable Logical Policies via Neurally Guided Symbolic Abstraction

要約

ニューラルネットワークは、必要な事前情報が限られているため、強化学習（RL）を用いてポリシーを符号化し、学習するための有力な選択肢となっています。しかし、ニューラルネットワークはブラックボックスであり、特に画像レベルで作業する場合、エージェントの挙動を理解することが困難です。そこで、ニューロシンボリックRLは、そもそも解釈可能なポリシーを作成することを目的としています。しかし、残念ながら、解釈可能性は説明可能性ではありません。この両方を実現するために、我々はNeurally gUided Differentiable loGic policiEs (NUDGE)を導入しました。NUDGEは、重み付けされた論理ルールの候補を探索するために、訓練されたニューラルネットワークベースのエージェントを利用し、次に論理エージェントを訓練するために微分可能な論理を使用します。我々の実験評価では、NUDGEエージェントが解釈可能で説明可能なポリシーを導き出すことができ、純粋なニューラルネットワークを凌駕し、異なる初期状態や問題サイズの環境に対して優れた柔軟性を示すことが実証された。

要約(オリジナル)

The limited priors required by neural networks make them the dominating choice to encode and learn policies using reinforcement learning (RL). However, they are also black-boxes, making it hard to understand the agent’s behaviour, especially when working on the image level. Therefore, neuro-symbolic RL aims at creating policies that are interpretable in the first place. Unfortunately, interpretability is not explainability. To achieve both, we introduce Neurally gUided Differentiable loGic policiEs (NUDGE). NUDGE exploits trained neural network-based agents to guide the search of candidate-weighted logic rules, then uses differentiable logic to train the logic agents. Our experimental evaluation demonstrates that NUDGE agents can induce interpretable and explainable policies while outperforming purely neural ones and showing good flexibility to environments of different initial states and problem sizes.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL