Identifying Important Group of Pixels using Interactions

要約

画像分類器の動作をより深く理解するには、モデル予測に対する個々のピクセルの寄与を視覚化することが役立ちます。
本研究では、ピクセル群を効率的かつ正確に識別する手法 MoXI~($\textbf{Mo}$del e$\textbf{X}$planation by $\textbf{I}$nteractions) を提案します。
予測の信頼度が高い。
提案された方法は、ゲーム理論の概念、シャプレー値、相互作用を採用し、個々のピクセルの効果と、モデルの信頼性に対するピクセルの協調的な影響を考慮しています。
理論分析と実験により、この方法は、Grad-CAM、アテンション ロールアウト、およびシャプリー値を使用した広く使用されている視覚化方法よりも、モデル出力に大きく寄与するピクセルをより適切に識別できることが実証されています。
これまでの研究では、Shapley 値と交互作用の計算において指数関数的な計算コストが発生していましたが、我々は、このタスクではこれを線形コストに削減できることを示しました。

要約(オリジナル)

To better understand the behavior of image classifiers, it is useful to visualize the contribution of individual pixels to the model prediction. In this study, we propose a method, MoXI~($\textbf{Mo}$del e$\textbf{X}$planation by $\textbf{I}$nteractions), that efficiently and accurately identifies a group of pixels with high prediction confidence. The proposed method employs game-theoretic concepts, Shapley values and interactions, taking into account the effects of individual pixels and the cooperative influence of pixels on model confidence. Theoretical analysis and experiments demonstrate that our method better identifies the pixels that are highly contributing to the model outputs than widely-used visualization methods using Grad-CAM, Attention rollout, and Shapley value. While prior studies have suffered from the exponential computational cost in the computation of Shapley value and interactions, we show that this can be reduced to linear cost for our task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google