Unfooling Perturbation-Based Post Hoc Explainers

要約

タイトル：解明者におけるフールプルーフの摂動法

要約：

– AIの発展により、医師、貸し手、裁判官などの専門家に関心を持たれています。
– これらの高レベルな意思決定者は、技術に楽観的ですが、AIシステムに詳しい人々は、その意思決定プロセスの透明性の欠如に警戒しています。
– 摂動ベースのポストホック解説者は、クエリーレベルのアクセスしか必要とせず、これらのシステムを解釈するためのモデルに対しても不偏的です。
– しかし、最近の研究では、これらの解釈者に対して敵対的にフールプルーフできることが示されています。
– これにより、監査人、規制当局、およびその他の監視者に悪影響が及びます。そこで、我々は、黒箱システムを監査する方法と、監査が善意で実施されていることを確認する方法について、厳密に形式化し、反撃のための防御を考案しました。
– 我々は、CAD-DetectとCAD-Defendの検出と防御のためのアルゴリズムを提案し、新しい条件付き異常検出アプローチKNN-CADで補助されています。
– 我々のアプローチは、LIMEとSHAPといった広く使われている解釈者に対する現実世界のデータにおける敵対的攻撃を検出し、軽減することに成功しました。

要約(オリジナル)

Monumental advancements in artificial intelligence (AI) have lured the interest of doctors, lenders, judges, and other professionals. While these high-stakes decision-makers are optimistic about the technology, those familiar with AI systems are wary about the lack of transparency of its decision-making processes. Perturbation-based post hoc explainers offer a model agnostic means of interpreting these systems while only requiring query-level access. However, recent work demonstrates that these explainers can be fooled adversarially. This discovery has adverse implications for auditors, regulators, and other sentinels. With this in mind, several natural questions arise – how can we audit these black box systems? And how can we ascertain that the auditee is complying with the audit in good faith? In this work, we rigorously formalize this problem and devise a defense against adversarial attacks on perturbation-based explainers. We propose algorithms for the detection (CAD-Detect) and defense (CAD-Defend) of these attacks, which are aided by our novel conditional anomaly detection approach, KNN-CAD. We demonstrate that our approach successfully detects whether a black box system adversarially conceals its decision-making process and mitigates the adversarial attack on real-world data for the prevalent explainers, LIME and SHAP.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI