Preemptively Pruning Clever-Hans Strategies in Deep Neural Networks

要約

深層学習ではロバスト性が重要な考慮事項になっています。
説明可能な AI の助けを借りて、説明されたモデルの意思決定戦略とユーザーのドメイン知識 (例: クレバー ハンス効果) の間の不一致が、欠陥のあるモデルを改善するための開始点として特定されました。
ただし、ユーザーと説明が同意した場合に何をすべきかはあまり明確ではありません。
この論文では、ユーザーによる説明の受け入れは、検出されない可能性があるクレバー ハンス効果に対して機械学習モデルが堅牢であることを保証するものではないことを実証します。
それでも、このようなモデルの隠れた欠陥は軽減することができ、私たちは、肯定的な説明フィードバックの対象になっていない ML モデルの変動を先制して除去する新しい手法である説明ガイド付き露出最小化 (EGEM) を提供することでこれを実証します。
実験では、私たちのアプローチが、隠れたクレバー・ハンス戦略への依存を大幅に軽減するモデルにつながり、その結果、新しいデータでより高い精度を達成できることが実証されました。

要約(オリジナル)

Robustness has become an important consideration in deep learning. With the help of explainable AI, mismatches between an explained model’s decision strategy and the user’s domain knowledge (e.g. Clever Hans effects) have been identified as a starting point for improving faulty models. However, it is less clear what to do when the user and the explanation agree. In this paper, we demonstrate that acceptance of explanations by the user is not a guarantee for a machine learning model to be robust against Clever Hans effects, which may remain undetected. Such hidden flaws of the model can nevertheless be mitigated, and we demonstrate this by contributing a new method, Explanation-Guided Exposure Minimization (EGEM), that preemptively prunes variations in the ML model that have not been the subject of positive explanation feedback. Experiments demonstrate that our approach leads to models that strongly reduce their reliance on hidden Clever Hans strategies, and consequently achieve higher accuracy on new data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google