Learning impartial policies for sequential counterfactual explanations using Deep Reinforcement Learning

要約

Explainable Artificial Intelligence (XAI) の分野では、入力インスタンスに一連の変更を実装することで、トレーニングされた分類器の決定を変更するために、逐次反事実 (SCF) の例がよく使用されます。
特定のテスト時アルゴリズムは、新しいインスタンスごとに個別に最適化することを目的としていますが、最近では、SCF を発見するためのポリシーを学習してスケーラビリティを向上させる強化学習 (RL) 手法が提案されています。
RL では典型的なことですが、状態空間、アクション、報酬の仕様を含む RL 問題の定式化は、多くの場合曖昧になる可能性があります。
この研究では、特定のアクションに対する偏りなど、望ましくない特性を持つポリシーをもたらす可能性がある既存の方法の欠点を特定します。
この影響を軽減するために、分類子の出力確率を使用して、より有益な報酬を作成することを提案します。

要約(オリジナル)

In the field of explainable Artificial Intelligence (XAI), sequential counterfactual (SCF) examples are often used to alter the decision of a trained classifier by implementing a sequence of modifications to the input instance. Although certain test-time algorithms aim to optimize for each new instance individually, recently Reinforcement Learning (RL) methods have been proposed that seek to learn policies for discovering SCFs, thereby enhancing scalability. As is typical in RL, the formulation of the RL problem, including the specification of state space, actions, and rewards, can often be ambiguous. In this work, we identify shortcomings in existing methods that can result in policies with undesired properties, such as a bias towards specific actions. We propose to use the output probabilities of the classifier to create a more informative reward, to mitigate this effect.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google