Explaining Reinforcement Learning: A Counterfactual Shapley Values Approach

要約

この論文では、反事実分析とシャプレー値を統合することで強化学習 (RL) における説明可能性を強化する、反事実的シャプレー値 (CSV) という新しいアプローチを紹介します。
このアプローチは、さまざまなアクションの選択に対するさまざまな状態の側面の寄与を定量化し、比較することを目的としています。
これらの影響をより正確に分析するために、新しい特性値関数「反事実差分特性値」と「反事実差分特性値の平均」を導入します。
これらの関数は、シャプレー値を計算して、最適なアクションと最適でないアクションの間の寄与の差を評価するのに役立ちます。
GridWorld、FrozenLake、Taxi などのいくつかの RL ドメインにわたる実験により、CSV 手法の有効性が実証されました。
結果は、この方法が複雑な RL システムの透明性を向上させるだけでなく、さまざまな決定間の差異を定量化することも示しています。

要約(オリジナル)

This paper introduces a novel approach Counterfactual Shapley Values (CSV), which enhances explainability in reinforcement learning (RL) by integrating counterfactual analysis with Shapley Values. The approach aims to quantify and compare the contributions of different state dimensions to various action choices. To more accurately analyze these impacts, we introduce new characteristic value functions, the “Counterfactual Difference Characteristic Value’ and the “Average Counterfactual Difference Characteristic Value.’ These functions help calculate the Shapley values to evaluate the differences in contributions between optimal and non-optimal actions. Experiments across several RL domains, such as GridWorld, FrozenLake, and Taxi, demonstrate the effectiveness of the CSV method. The results show that this method not only improves transparency in complex RL systems but also quantifies the differences across various decisions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google