Learning of Generalizable and Interpretable Knowledge in Grid-Based Reinforcement Learning Environments

要約

深層強化学習でトレーニングされたエージェントのインタラクションを理解することは、ゲームや現実世界にエージェントを配置するために重要です。
前者では、理不尽な行動がプレイヤーを混乱させます。
後者の場合、予期せぬ行動が事故を引き起こし、関係者に重大かつ長期にわたる影響を与える可能性があるため、その影響はさらに大きくなります。
この研究では、アクションシーケンスの軌跡を見た後、プログラム合成を使用して強化学習ポリシーを模倣することを提案します。
プログラムには、本質的に解釈可能であり、正確性を検証できるという利点があります。
私たちは、最先端のプログラム合成システム DreamCoder をグリッドベースの環境での概念、特にナビゲーション タスクと Atari ゲームの 2 つのミニチュア バージョン、スペース インベーダーとアステリックスの学習に適応させます。
生成されたライブラリを検査することで、ブラックボックス エージェントが学習した概念について推論し、エージェントの動作をより深く理解することができます。
模倣されたシーケンスに対するエージェントの意思決定プロセスを視覚化することで、同じことを達成します。
私たちは、検索のみの方法、ニューラルガイド検索、コードに合わせて微調整された言語モデルに基づいて、さまざまなタイプのプログラム シンセサイザーを使用してアプローチを評価します。

要約(オリジナル)

Understanding the interactions of agents trained with deep reinforcement learning is crucial for deploying agents in games or the real world. In the former, unreasonable actions confuse players. In the latter, that effect is even more significant, as unexpected behavior cause accidents with potentially grave and long-lasting consequences for the involved individuals. In this work, we propose using program synthesis to imitate reinforcement learning policies after seeing a trajectory of the action sequence. Programs have the advantage that they are inherently interpretable and verifiable for correctness. We adapt the state-of-the-art program synthesis system DreamCoder for learning concepts in grid-based environments, specifically, a navigation task and two miniature versions of Atari games, Space Invaders and Asterix. By inspecting the generated libraries, we can make inferences about the concepts the black-box agent has learned and better understand the agent’s behavior. We achieve the same by visualizing the agent’s decision-making process for the imitated sequences. We evaluate our approach with different types of program synthesizers based on a search-only method, a neural-guided search, and a language model fine-tuned on code.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google