S-REINFORCE: A Neuro-Symbolic Policy Gradient Approach for Interpretable Reinforcement Learning

要約

本論文では、動的な意思決定タスクのための解釈可能なポリシーを生成するために設計された新しいRLアルゴリズムであるS-REINFORCEを提示する。提案アルゴリズムは、ニューラルネットワーク(NN)とシンボリックレグレッサー(SR)という2種類の関数近似器を活用し、それぞれ数値的政策とシンボリック政策を生成する。NNコンポーネントは、政策勾配を用いて可能な行動に対する数値確率分布を生成するように学習し、SRコンポーネントは、関連する状態と行動確率を関連付ける関数形式を捉える。SRが生成した政策表現は、重要度サンプリングによって、学習プロセスで受け取る報酬を改善するために利用される。我々は、提案するS-REINFORCEアルゴリズムを、低次元および高次元の行動空間を持つ様々な動的意思決定問題でテストし、その結果、解釈可能な解を得るための有効性と影響を実証した。S-REINFORCEは、NNとSRの両方の長所を活用することで、パフォーマンスが高いだけでなく、解釈しやすいポリシーを生成し、透明性と因果関係が重要な実世界のアプリケーションに最適な選択肢となる。

要約(オリジナル)

This paper presents a novel RL algorithm, S-REINFORCE, which is designed to generate interpretable policies for dynamic decision-making tasks. The proposed algorithm leverages two types of function approximators, namely Neural Network (NN) and Symbolic Regressor (SR), to produce numerical and symbolic policies, respectively. The NN component learns to generate a numerical probability distribution over the possible actions using a policy gradient, while the SR component captures the functional form that relates the associated states with the action probabilities. The SR-generated policy expressions are then utilized through importance sampling to improve the rewards received during the learning process. We have tested the proposed S-REINFORCE algorithm on various dynamic decision-making problems with low and high dimensional action spaces, and the results demonstrate its effectiveness and impact in achieving interpretable solutions. By leveraging the strengths of both NN and SR, S-REINFORCE produces policies that are not only well-performing but also easy to interpret, making it an ideal choice for real-world applications where transparency and causality are crucial.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL