Experiential Explanations for Reinforcement Learning

要約

強化学習 (RL) システムは複雑で解釈できない場合があるため、AI の専門家以外が理解したり意思決定に介入したりすることが困難になります。
これは、部分的には、将来の報酬に基づいてアクションが選択されるという RL の逐次的な性質によるものです。
ただし、RL エージェントはトレーニングの定性的特徴を無視するため、アクションが選択される「理由」についてユーザーが理解できる情報を回復することが困難になります。
提案された文のチャンク化: RL ポリシーと並行して影響予測子をトレーニングすることにより、反事実の説明を生成する手法「経験的説明」を提案します。
影響予測子は、報酬のソースがさまざまな状態のエージェントにどのような影響を与えるかを学習し、ポリシーが環境をどのように反映するかに関する情報を復元するモデルです。
人間による評価研究では、経験に基づいた説明を受けた参加者は、他の標準的な種類の説明を受けた参加者よりもエージェントが何をするかを正確に推測できることが明らかになりました。
参加者はまた、経験に基づいた説明がより理解しやすく、満足でき、完全で有用で正確であると感じました。
定性分析は、最も有用であると思われる経験的説明の要素についての洞察を提供します。

要約(オリジナル)

Reinforcement Learning (RL) systems can be complex and non-interpretable, making it challenging for non-AI experts to understand or intervene in their decisions. This is due, in part, to the sequential nature of RL in which actions are chosen because of future rewards. However, RL agents discard the qualitative features of their training, making it hard to recover user-understandable information for ‘why’ an action is chosen. Proposed sentence chunking: We propose a technique Experiential Explanations to generate counterfactual explanations by training influence predictors alongside the RL policy. Influence predictors are models that learn how sources of reward affect the agent in different states, thus restoring information about how the policy reflects the environment. A human evaluation study revealed that participants presented with experiential explanations were better able to correctly guess what an agent would do than those presented with other standard types of explanations. Participants also found experiential explanations to be more understandable, satisfying, complete, useful, and accurate. The qualitative analysis provides insights into the factors of experiential explanations that find most useful.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google