SymDQN: Symbolic Knowledge and Reasoning in Neural Network-based Reinforcement Learning

要約

我々は、ディープニューラルネットワークを用いた強化学習において、記号的な制御とガイダンスを可能にする学習アーキテクチャを提案する。既存のDueling Deep Q-Networks (DuelDQN)アーキテクチャを、Logic Tensor Networks (LTN)のニューロシンボリックフレームワークに基づくモジュールで補強する、新しいモジュールアプローチであるSymDQNを紹介する。このモジュールは行動ポリシーの学習を導き、強化学習エージェントが環境についての推論と一致した行動を示すことを可能にする。我々の実験は、このモジュールに対して行われるアブレーション研究である。この実験は、5×5のグリッドを移動する強化学習環境で行われ、エージェントが様々な形状に遭遇し、それぞれに報酬が与えられる。基礎となるDuelDQNは、この環境におけるエージェントの最適な振る舞いを学習しようとする一方で、モジュールは形状の認識と報酬の予測を容易にする。我々は、我々のアーキテクチャが、性能とエージェントの精度の両方において、学習を大幅に改善することを示す。SymDQNのモジュール性により、強化学習におけるニューラルアプローチとシンボリックアプローチの組み合わせの複雑さと複雑さを考察することができる。

要約(オリジナル)

We propose a learning architecture that allows symbolic control and guidance in reinforcement learning with deep neural networks. We introduce SymDQN, a novel modular approach that augments the existing Dueling Deep Q-Networks (DuelDQN) architecture with modules based on the neuro-symbolic framework of Logic Tensor Networks (LTNs). The modules guide action policy learning and allow reinforcement learning agents to display behaviour consistent with reasoning about the environment. Our experiment is an ablation study performed on the modules. It is conducted in a reinforcement learning environment of a 5×5 grid navigated by an agent that encounters various shapes, each associated with a given reward. The underlying DuelDQN attempts to learn the optimal behaviour of the agent in this environment, while the modules facilitate shape recognition and reward prediction. We show that our architecture significantly improves learning, both in terms of performance and the precision of the agent. The modularity of SymDQN allows reflecting on the intricacies and complexities of combining neural and symbolic approaches in reinforcement learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL