Preemptively Pruning Clever-Hans Strategies in Deep Neural Networks

要約

タイトル：深層ニューラルネットワークにおけるClever-Hans戦略の事前剪定

要約：
– 説明可能なAIは、機械学習モデルの検証には欠かせないツールとなっている。
– ただし、説明されたモデルの判断戦略とユーザーのドメイン知識（例：Clever Hans効果）の不一致が、不良なモデルを改善する出発点として認められている。
– しかし、ユーザーと説明が一致した場合、どのように対処すべきかはあまり明確ではない。
– 本論文では、ユーザーによる説明の受け入れがMLモデルの正常な機能を保証するわけではないことを示し、特に、いくつかのClever Hans効果は未検出のままであることがあることを示す。
– このようなモデルの隠れた欠陥は、軽減できることがあり、それを実証するために、当研究は説明に基づく露出最小化（EGEM）という新しい手法を貢献する。
– 自然画像データ上の実験は、当研究のアプローチによって、正の説明フィードバックの対象ではなかったMLモデルの変化を予防的に剪定することで、モデルが隠されたClever Hans戦略への依存を強く軽減し、新しいデータで高い精度を実現することを示した。

要約(オリジナル)

Explainable AI has become a popular tool for validating machine learning models. Mismatches between the explained model’s decision strategy and the user’s domain knowledge (e.g. Clever Hans effects) have also been recognized as a starting point for improving faulty models. However, it is less clear what to do when the user and the explanation agree. In this paper, we demonstrate that acceptance of explanations by the user is not a guarantee for a ML model to function well, in particular, some Clever Hans effects may remain undetected. Such hidden flaws of the model can nevertheless be mitigated, and we demonstrate this by contributing a new method, Explanation-Guided Exposure Minimization (EGEM), that premptively prunes variations in the ML model that have not been the subject of positive explanation feedback. Experiments on natural image data demonstrate that our approach leads to models that strongly reduce their reliance on hidden Clever Hans strategies, and consequently achieve higher accuracy on new data.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI