The Susceptibility of Example-Based Explainability Methods to Class Outliers

要約

この研究では、ブラックボックス機械学習モデルの例ベースの説明可能性手法の有効性に対するクラス外れ値の影響を調査します。
私たちは、正確性や関連性などの既存の説明可能性評価指標、特に例ベースの手法を再定式化し、新しい指標である識別可能性を導入します。
これらの指標を使用して、クラスの外れ値を抑制しようとする現在の例ベースの説明可能性手法の欠点を強調します。
私たちは、テキスト分類データセットと画像分類データセットの 2 つのデータセットで実験を実施し、4 つの最先端の説明可能性手法のパフォーマンスを評価します。
私たちの調査結果は、クラスの外れ値によってもたらされる課題に対処するための堅牢な技術の必要性を強調しています。

要約(オリジナル)

This study explores the impact of class outliers on the effectiveness of example-based explainability methods for black-box machine learning models. We reformulate existing explainability evaluation metrics, such as correctness and relevance, specifically for example-based methods, and introduce a new metric, distinguishability. Using these metrics, we highlight the shortcomings of current example-based explainability methods, including those who attempt to suppress class outliers. We conduct experiments on two datasets, a text classification dataset and an image classification dataset, and evaluate the performance of four state-of-the-art explainability methods. Our findings underscore the need for robust techniques to tackle the challenges posed by class outliers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google