Verified Training for Counterfactual Explanation Robustness under Data Shift

要約

反事実的説明 (CE) は、予測を目的のクラスに変更するために入力にどのような変更が必要かを説明することにより、機械学習モデルの解釈可能性を高めます。
これらの説明は、たとえばローン申請が拒否されたユーザーが今後どのようにローンを承認されるかを説明するなど、ユーザーの行動をガイドするために一般的に使用されます。
既存のアプローチは、単一の固定モデルに焦点を当てて CE を生成しており、CE の将来の有効性について正式な保証を提供していません。
データのシフトを考慮してモデルが定期的に更新される場合、生成された CE がシフトに対して堅牢でない場合、ユーザーのアクションが予測に望ましい影響を与えなくなる可能性があります。
このペーパーでは、生成された CE の小さなモデル シフトに対する堅牢性を明示的に考慮するために、分類器と説明器を共同でトレーニングするアプローチである VeriTraCER を紹介します。
VeriTraCER は、ローカル モデルの更新に対する CE の検証可能な堅牢性を確保する慎重に設計された損失関数を最適化し、CE の有効性に対する決定的な保証を提供します。
私たちの経験的評価は、VeriTraCER が (1) 小規模なモデル更新に対して検証可能なほど堅牢であり、(2) ランダム初期化、リーブ ワンアウト、
そして分布の変化。

要約(オリジナル)

Counterfactual explanations (CEs) enhance the interpretability of machine learning models by describing what changes to an input are necessary to change its prediction to a desired class. These explanations are commonly used to guide users’ actions, e.g., by describing how a user whose loan application was denied can be approved for a loan in the future. Existing approaches generate CEs by focusing on a single, fixed model, and do not provide any formal guarantees on the CEs’ future validity. When models are updated periodically to account for data shift, if the generated CEs are not robust to the shifts, users’ actions may no longer have the desired impacts on their predictions. This paper introduces VeriTraCER, an approach that jointly trains a classifier and an explainer to explicitly consider the robustness of the generated CEs to small model shifts. VeriTraCER optimizes over a carefully designed loss function that ensures the verifiable robustness of CEs to local model updates, thus providing deterministic guarantees to CE validity. Our empirical evaluation demonstrates that VeriTraCER generates CEs that (1) are verifiably robust to small model updates and (2) display competitive robustness to state-of-the-art approaches in handling empirical model updates including random initialization, leave-one-out, and distribution shifts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google