Interpretable and Explainable Logical Policies via Neurally Guided Symbolic Abstraction

要約

ニューラル ネットワークに必要な事前確率は限られているため、強化学習 (RL) を使用してポリシーをエンコードおよび学習するための主要な選択肢となります。
ただし、これらはブラックボックスでもあるため、特にイメージ レベルで作業する場合、エージェントの動作を理解することが困難になります。
したがって、神経記号的 RL は、そもそも解釈可能なポリシーを作成することを目的としています。
残念ながら、解釈可能性は説明可能性ではありません。
両方を達成するために、神経誘導微分論理ポリシー (NUDGE) を導入します。
NUDGE は、訓練されたニューラル ネットワーク ベースのエージェントを利用して、候補に重み付けされた論理ルールの検索をガイドし、微分可能ロジックを使用して論理エージェントを訓練します。
私たちの実験的評価では、NUDGE エージェントが解釈可能で説明可能なポリシーを誘導できると同時に、純粋にニューラルなエージェントよりも優れたパフォーマンスを発揮し、さまざまな初期状態や問題サイズの環境に対して優れた柔軟性を示すことが実証されました。

要約(オリジナル)

The limited priors required by neural networks make them the dominating choice to encode and learn policies using reinforcement learning (RL). However, they are also black-boxes, making it hard to understand the agent’s behaviour, especially when working on the image level. Therefore, neuro-symbolic RL aims at creating policies that are interpretable in the first place. Unfortunately, interpretability is not explainability. To achieve both, we introduce Neurally gUided Differentiable loGic policiEs (NUDGE). NUDGE exploits trained neural network-based agents to guide the search of candidate-weighted logic rules, then uses differentiable logic to train the logic agents. Our experimental evaluation demonstrates that NUDGE agents can induce interpretable and explainable policies while outperforming purely neural ones and showing good flexibility to environments of different initial states and problem sizes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google