Explaining RL Decisions with Trajectories

要約

説明は、現実世界の多くの意思決定問題において強化学習 (RL) を導入するための重要な要素です。
文献では、多くの場合、RL エージェントの状態の特徴に対する顕著性の帰属によって説明が提供されます。
この研究では、特にオフラインの RL について、これらの説明に対する補完的なアプローチを提案します。このアプローチでは、訓練された RL エージェントのポリシー決定が、訓練中にエージェントが遭遇した軌跡に起因すると考えられます。
そのために、オフライン トレーニング データの軌跡を個別にエンコードするだけでなく、集合的にエンコードします (軌跡のセットをエンコードします)。
次に、そのセットに関する決定の感度を推定することにより、政策決定をこのエンコードされた空間内の一連の軌跡に帰属させます。
さらに、グリッドワールド、ビデオゲーム（Atari）、連続制御（MuJoCo）など、離散的および連続的な状態およびアクション空間の両方を含む多様な環境における、アトリビューションの品質と実際的なスケーラビリティの観点から、提案されたアプローチの有効性を実証します。
）。
また、単純なナビゲーション タスクに関する人間による研究も実施し、そのタスクの理解度が、トレーニングされた RL ポリシーに起因するデータとどのように比較されるかを観察します。
キーワード — 説明可能な AI、AI の意思決定の検証可能性、説明可能な RL。

要約(オリジナル)

Explanation is a key component for the adoption of reinforcement learning (RL) in many real-world decision-making problems. In the literature, the explanation is often provided by saliency attribution to the features of the RL agent’s state. In this work, we propose a complementary approach to these explanations, particularly for offline RL, where we attribute the policy decisions of a trained RL agent to the trajectories encountered by it during training. To do so, we encode trajectories in offline training data individually as well as collectively (encoding a set of trajectories). We then attribute policy decisions to a set of trajectories in this encoded space by estimating the sensitivity of the decision with respect to that set. Further, we demonstrate the effectiveness of the proposed approach in terms of quality of attributions as well as practical scalability in diverse environments that involve both discrete and continuous state and action spaces such as grid-worlds, video games (Atari) and continuous control (MuJoCo). We also conduct a human study on a simple navigation task to observe how their understanding of the task compares with data attributed for a trained RL policy. Keywords — Explainable AI, Verifiability of AI Decisions, Explainable RL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google