A Survey on Explainable Reinforcement Learning: Concepts, Algorithms, Challenges

要約

強化学習 (RL) は、インテリジェントなエージェントが環境と対話して長期的な目標を達成する、人気のある機械学習パラダイムです。
ディープラーニングの復活により、Deep RL (DRL) は広範囲にわたる複雑な制御タスクで大きな成功を収めてきました。
達成された有望な結果にも関わらず、ディープ ニューラル ネットワーク ベースのバックボーンは、高いセキュリティと信頼性が不可欠な現実的なシナリオにおいて、実務者が訓練を受けたエージェントを信頼して雇用することを妨げるブラック ボックスであると広く考えられています。
この問題を軽減するために、本質的な解釈可能性または事後説明可能性を構築することによって、インテリジェント エージェントの内部動作に光を当てることに専念する大量の文献が提案されています。
この調査では、eXplainable RL (XRL) に関する既存の研究を包括的にレビューし、以前の研究をモデル説明、報酬説明、状態説明、およびタスク説明の手法に明確に分類する新しい分類法を導入します。
また、人間の知識を逆に活用してエージェントの学習効率とパフォーマンスを促進する RL 手法もレビューして強調しますが、この種の手法は XRL 分野では無視されることが多いです。
XRL におけるいくつかの課題と機会について説明します。
この調査は、XRL の概要を提供し、より効果的な XRL ソリューションに関する将来の研究を促進することを目的としています。
対応するオープン ソース コードは、https://github.com/Plankson/awesome-explainable-reinforcement-learning で収集および分類されています。

要約(オリジナル)

Reinforcement Learning (RL) is a popular machine learning paradigm where intelligent agents interact with the environment to fulfill a long-term goal. Driven by the resurgence of deep learning, Deep RL (DRL) has witnessed great success over a wide spectrum of complex control tasks. Despite the encouraging results achieved, the deep neural network-based backbone is widely deemed as a black box that impedes practitioners to trust and employ trained agents in realistic scenarios where high security and reliability are essential. To alleviate this issue, a large volume of literature devoted to shedding light on the inner workings of the intelligent agents has been proposed, by constructing intrinsic interpretability or post-hoc explainability. In this survey, we provide a comprehensive review of existing works on eXplainable RL (XRL) and introduce a new taxonomy where prior works are clearly categorized into model-explaining, reward-explaining, state-explaining, and task-explaining methods. We also review and highlight RL methods that conversely leverage human knowledge to promote learning efficiency and performance of agents while this kind of method is often ignored in XRL field. Some challenges and opportunities in XRL are discussed. This survey intends to provide a high-level summarization of XRL and to motivate future research on more effective XRL solutions. Corresponding open source codes are collected and categorized at https://github.com/Plankson/awesome-explainable-reinforcement-learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google