PAMI: partition input and aggregate outputs for model interpretation

要約

特にリスクの高いアプリケーションでは、モデル予測の解釈に対する要求が高まっている。特定のモデル予測に関連する入力の部分を推定するために、様々な可視化アプローチが提案されている。しかし、ほとんどのアプローチは可視化結果を得るためにモデルの構造やパラメータの詳細を必要とし、特にモデルのバックボーンや入力形式がタスクによって変わる場合、一般にそれぞれのアプローチを複数のタイプのタスクに適合させるために多くの労力を必要とする。本研究では、深層学習モデルがモデル予測のために局所的な領域の特徴を集約することが多いという観察に基づいて、PAMIと呼ばれるシンプルかつ効果的な可視化フレームワークを提案する。基本的な考え方は、入力の大部分をマスクし、対応するモデル出力を、元のモデル予測に対する保存された入力部分の相対的寄与度として用いることである。各入力に対して、モデル出力のセットのみが収集・集約されるため、PAMIはモデルの詳細を必要とせず、モデルバックボーンや入力形式が異なる様々な予測タスクに適用することができる。複数のタスクに関する広範な実験により、提案手法は、クラス固有の入力領域をより正確に見つけ、異なるモデルバックボーンや入力フォーマットに適用した場合、既存の可視化アプローチよりも優れた性能を発揮することが確認されました。ソースコードは一般に公開される予定です。

要約(オリジナル)

There is an increasing demand for interpretation of model predictions especially in high-risk applications. Various visualization approaches have been proposed to estimate the part of input which is relevant to a specific model prediction. However, most approaches require model structure and parameter details in order to obtain the visualization results, and in general much effort is required to adapt each approach to multiple types of tasks particularly when model backbone and input format change over tasks. In this study, a simple yet effective visualization framework called PAMI is proposed based on the observation that deep learning models often aggregate features from local regions for model predictions. The basic idea is to mask majority of the input and use the corresponding model output as the relative contribution of the preserved input part to the original model prediction. For each input, since only a set of model outputs are collected and aggregated, PAMI does not require any model detail and can be applied to various prediction tasks with different model backbones and input formats. Extensive experiments on multiple tasks confirm the proposed method performs better than existing visualization approaches in more precisely finding class-specific input regions, and when applied to different model backbones and input formats. The source code will be released publicly.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL