Shortcomings of Top-Down Randomization-Based Sanity Checks for Evaluations of Deep Neural Network Explanations

要約

説明の評価は、信頼できるモデルに向けた重要なステップですが、慎重に行う必要があり、使用する指標を十分に理解する必要があります。
具体的には、モデルのランダム化テストは過大評価されることが多く、特定の説明方法を選択または破棄するための唯一の基準と見なされます。
このテストの欠点に対処するために、ランダム化に基づくサニティ チェック [1] とモデル出力の忠実度測定 ([25] など) の間の説明方法のランキングにおける実験的なギャップを観察することから始めます。
説明を評価する目的で、モデルのランダム化に基づくサニティ チェックの制限を特定します。
まず、ゼロのピクセル単位の共分散で作成された有益でないアトリビューション マップは、このタイプのチェックで簡単に高いスコアを達成することを示します。
次に、トップダウン モデルのランダム化により、フォワード パス アクティベーションのスケールが高い確率で維持されることを示します。
つまり、アクティベーションが大きいチャネルは、その上でネットワークをランダム化した後でも、出力に大きく貢献する可能性が高くなります。
したがって、無作為化後の説明は、ある程度異なることしか期待できません。
これは、観察された実験的ギャップを説明しています。
要約すると、これらの結果は、アトリビューション方法をランク付けする基準として、モデルのランダム化に基づくサニティ チェックが不十分であることを示しています。

要約(オリジナル)

While the evaluation of explanations is an important step towards trustworthy models, it needs to be done carefully, and the employed metrics need to be well-understood. Specifically model randomization testing is often overestimated and regarded as a sole criterion for selecting or discarding certain explanation methods. To address shortcomings of this test, we start by observing an experimental gap in the ranking of explanation methods between randomization-based sanity checks [1] and model output faithfulness measures (e.g. [25]). We identify limitations of model-randomization-based sanity checks for the purpose of evaluating explanations. Firstly, we show that uninformative attribution maps created with zero pixel-wise covariance easily achieve high scores in this type of checks. Secondly, we show that top-down model randomization preserves scales of forward pass activations with high probability. That is, channels with large activations have a high probility to contribute strongly to the output, even after randomization of the network on top of them. Hence, explanations after randomization can only be expected to differ to a certain extent. This explains the observed experimental gap. In summary, these results demonstrate the inadequacy of model-randomization-based sanity checks as a criterion to rank attribution methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google