Neural DNF-MT: A Neuro-symbolic Approach for Learning Interpretable and Editable Policies

要約

深層強化学習は効果的であることが示されていますが、モデルのブラックボックス的な性質により、ポリシーを直接解釈するのに障害が生じます。
この問題に対処するために、エンドツーエンドのポリシー学習のためのニューラル DNF-MT と呼ばれる神経記号的アプローチを提案します。
ニューラル DNF-MT モデルの微分可能な性質により、トレーニングにディープ アクター クリティカル アルゴリズムを使用できるようになります。
同時に、そのアーキテクチャは、トレーニングされたモデルを、標準 (二価または確率的) ロジック プログラムとして表現される解釈可能なポリシーに直接変換できるように設計されています。
さらに、複雑な観察から抽象的な特徴を抽出するために追加のレイヤーを含めることができ、述語発明の形式として機能します。
論理表現は高度に解釈可能であり、決定論的ポリシーの二価表現を編集してニューラル モデルに組み戻す方法を示し、手動による介入と学習したポリシーの適応を容易にします。
私たちは、さまざまな形の観察から決定論的または確率的動作を学習する必要があるさまざまなタスクに対するアプローチを評価します。
私たちの経験的結果は、私たちのニューラル DNF-MT モデルが、解釈可能なポリシーを提供しながら、競合するブラックボックス手法のレベルで機能することを示しています。

要約(オリジナル)

Although deep reinforcement learning has been shown to be effective, the model’s black-box nature presents barriers to direct policy interpretation. To address this problem, we propose a neuro-symbolic approach called neural DNF-MT for end-to-end policy learning. The differentiable nature of the neural DNF-MT model enables the use of deep actor-critic algorithms for training. At the same time, its architecture is designed so that trained models can be directly translated into interpretable policies expressed as standard (bivalent or probabilistic) logic programs. Moreover, additional layers can be included to extract abstract features from complex observations, acting as a form of predicate invention. The logic representations are highly interpretable, and we show how the bivalent representations of deterministic policies can be edited and incorporated back into a neural model, facilitating manual intervention and adaptation of learned policies. We evaluate our approach on a range of tasks requiring learning deterministic or stochastic behaviours from various forms of observations. Our empirical results show that our neural DNF-MT model performs at the level of competing black-box methods whilst providing interpretable policies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google