Learning to Explain: A Model-Agnostic Framework for Explaining Black Box Models

要約

ビジョン モデルに事後的な説明を提供するために設計されたモデルに依存しないフレームワークである Learning to Explain (LTX) を紹介します。
LTX フレームワークは、説明マップを生成する「説明者」モデルを導入し、説明対象のモデルによって行われた予測を正当化する重要な領域を強調表示します。
説明者をトレーニングするには、最初の事前トレーニングとそれに続くインスタンスごとの微調整からなる 2 段階のプロセスを採用します。
トレーニングの両方の段階で、マスクされた入力に対する説明されたモデルの予測と、マスクされていない入力に対する元の予測を比較する独自の構成を利用します。
このアプローチにより、入力画像のマスクされたバージョンを使用してモデルの出力を予測することを目的とした、新しい反事実目標の使用が可能になります。
重要なのは、LTX フレームワークは特定のモデル アーキテクチャに制限されず、Transformer ベースのモデルと畳み込みモデルの両方の説明を提供できることです。
私たちの評価を通じて、LTX がさまざまな指標にわたる説明可能性において現在の最先端のものを大幅に上回っていることを実証しました。

要約(オリジナル)

We present Learning to Explain (LTX), a model-agnostic framework designed for providing post-hoc explanations for vision models. The LTX framework introduces an ‘explainer’ model that generates explanation maps, highlighting the crucial regions that justify the predictions made by the model being explained. To train the explainer, we employ a two-stage process consisting of initial pretraining followed by per-instance finetuning. During both stages of training, we utilize a unique configuration where we compare the explained model’s prediction for a masked input with its original prediction for the unmasked input. This approach enables the use of a novel counterfactual objective, which aims to anticipate the model’s output using masked versions of the input image. Importantly, the LTX framework is not restricted to a specific model architecture and can provide explanations for both Transformer-based and convolutional models. Through our evaluations, we demonstrate that LTX significantly outperforms the current state-of-the-art in explainability across various metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google