SYMPOL: Symbolic Tree-Based On-Policy Reinforcement Learning

要約

強化学習 (RL) はさまざまな分野で大きな成功を収めていますが、その採用はニューラル ネットワーク ポリシーのブラック ボックスの性質によって制限されることが多く、解釈が困難になります。
対照的に、シンボリック ポリシーを使用すると、意思決定戦略をコンパクトで解釈可能な方法で表現できます。
ただし、ポリシー上のメソッド内でシンボリック ポリシーを直接学習することは依然として困難です。
このペーパーでは、SYMbol ツリーベースの on-POLicy RL の新しい方法である SYMPOL を紹介します。
SYMPOL は、ポリシー勾配法と統合されたツリーベースのモデルを採用しており、エージェントが高レベルの解釈可能性を維持しながらアクションを学習して適応できるようにします。
一連のベンチマーク RL タスクで SYMPOL を評価し、パフォーマンスと解釈可能性の点で代替のツリーベースの RL アプローチよりも SYMPOL が優れていることを実証します。
私たちの知る限り、これは、ポリシー上で解釈可能で軸が揃えられたデシジョン ツリーの勾配ベースのエンドツーエンド学習を可能にする最初の方法です。
したがって、SYMPOL は、デシジョン ツリーに基づいた新しいクラスの解釈可能な RL の基盤となることができます。
私たちの実装は、https://github.com/s-marton/SYMPOL から入手できます。

要約(オリジナル)

Reinforcement learning (RL) has seen significant success across various domains, but its adoption is often limited by the black-box nature of neural network policies, making them difficult to interpret. In contrast, symbolic policies allow representing decision-making strategies in a compact and interpretable way. However, learning symbolic policies directly within on-policy methods remains challenging. In this paper, we introduce SYMPOL, a novel method for SYMbolic tree-based on-POLicy RL. SYMPOL employs a tree-based model integrated with a policy gradient method, enabling the agent to learn and adapt its actions while maintaining a high level of interpretability. We evaluate SYMPOL on a set of benchmark RL tasks, demonstrating its superiority over alternative tree-based RL approaches in terms of performance and interpretability. To the best of our knowledge, this is the first method, that allows a gradient-based end-to-end learning of interpretable, axis-aligned decision trees on-policy. Therefore, SYMPOL can become the foundation for a new class of interpretable RL based on decision trees. Our implementation is available under: https://github.com/s-marton/SYMPOL

arxiv情報

提供元, 利用サービス

arxiv.jp, Google