Be Careful When Evaluating Explanations Regarding Ground Truth

要約

グラウンド トゥルースに関する画像分類器の説明を評価する。
人間の知覚によって定義されたセグメンテーション マスクは、説明方法自体ではなく、主に検討中のモデルの品質を評価します。
この観察に基づいて、私たちは、ディープニューラルネットワークと説明手法を $\textit{結合}$する、セーフティクリティカルシステムの堅牢性を $\textit{共同}$ 評価するためのフレームワークを提案します。
これらは、医療画像分析やロボット工学などの実世界のアプリケーションでますます使用されています。
私たちは、model$\unicode{x2013}$explanation パイプラインをグラウンド トゥルースと（誤って）調整するための微調整手順を導入し、それを使用して人間による調整の最悪のシナリオと最良のシナリオの間の潜在的な不一致を定量化します。
さまざまなモデル アーキテクチャとポストホックなローカル解釈手法にわたる実験により、ビジョン トランスフォーマーの堅牢性と、潜在的な敵対的な攻撃に対するこのような AI システムの全体的な脆弱性についての洞察が得られます。

要約(オリジナル)

Evaluating explanations of image classifiers regarding ground truth, e.g. segmentation masks defined by human perception, primarily evaluates the quality of the models under consideration rather than the explanation methods themselves. Driven by this observation, we propose a framework for $\textit{jointly}$ evaluating the robustness of safety-critical systems that $\textit{combine}$ a deep neural network with an explanation method. These are increasingly used in real-world applications like medical image analysis or robotics. We introduce a fine-tuning procedure to (mis)align model$\unicode{x2013}$explanation pipelines with ground truth and use it to quantify the potential discrepancy between worst and best-case scenarios of human alignment. Experiments across various model architectures and post-hoc local interpretation methods provide insights into the robustness of vision transformers and the overall vulnerability of such AI systems to potential adversarial attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google