Counterfactual Explanations via Locally-guided Sequential Algorithmic Recourse

要約

アルゴリズムに頼って操作できる反事実は、人工知能システムを説明可能にするための強力なツールとなっています。
概念的には、y (事実) として分類された個人が与えられると、その予測が望ましいクラス y’ (反事実) になるようなアクションを求めます。
このプロセスは、(1) カスタマイズと解釈が容易で、(2) 各個人の目標に直接適合するアルゴリズム リソースを提供します。
しかし、「良い」反事実の性質については依然として多くの議論がなされています。
反事実とそれに対応する手段を効果的に特定することは、依然として未解決の課題です。
一部の戦略では勾配駆動の手法が使用されていますが、これらは手段の実現可能性を保証するものではなく、慎重に作成された多様体に対する敵対的な攻撃にさらされます。
これは不公平さや堅牢性の欠如につながる可能性があります。
他の方法はデータ駆動型であり、トレーニング データセット全体へのアクセスが必要なため、プライバシー、セキュリティ、機密性を犠牲にして実現可能性の問題に対処することがほとんどです。
ここでは、アルゴリズム依存の各ステップでローカルに取得した情報を使用して、実行可能で実用的な反事実の説明を構成する、モデルに依存しない手法である LocalFACE を紹介します。
当社の説明者は、実用的なアルゴリズム手段を構築するために特に必要なデータのみを活用することでユーザーのプライバシーを保護し、介入に必要と思われる領域のみに透明性を提供することでモデルを保護します。

要約(オリジナル)

Counterfactuals operationalised through algorithmic recourse have become a powerful tool to make artificial intelligence systems explainable. Conceptually, given an individual classified as y — the factual — we seek actions such that their prediction becomes the desired class y’ — the counterfactual. This process offers algorithmic recourse that is (1) easy to customise and interpret, and (2) directly aligned with the goals of each individual. However, the properties of a ‘good’ counterfactual are still largely debated; it remains an open challenge to effectively locate a counterfactual along with its corresponding recourse. Some strategies use gradient-driven methods, but these offer no guarantees on the feasibility of the recourse and are open to adversarial attacks on carefully created manifolds. This can lead to unfairness and lack of robustness. Other methods are data-driven, which mostly addresses the feasibility problem at the expense of privacy, security and secrecy as they require access to the entire training data set. Here, we introduce LocalFACE, a model-agnostic technique that composes feasible and actionable counterfactual explanations using locally-acquired information at each step of the algorithmic recourse. Our explainer preserves the privacy of users by only leveraging data that it specifically requires to construct actionable algorithmic recourse, and protects the model by offering transparency solely in the regions deemed necessary for the intervention.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google