Identifying Important Group of Pixels using Interactions

要約

画像分類器の動作をより深く理解するには、モデル予測に対する個々のピクセルの寄与を視覚化することが役立ちます。
本研究では、高解像度のピクセル群を効率的かつ正確に識別する手法 MoXI ($\textbf{Mo}$del e$\textbf{X}$planation by $\textbf{I}$nteractions) を提案します。
予測の信頼性。
提案された方法は、ゲーム理論の概念、シャプレー値、相互作用を採用し、個々のピクセルの効果と、モデルの信頼性に対するピクセルの協調的な影響を考慮しています。
理論的な分析と実験により、この方法は、Grad-CAM、アテンション ロールアウト、およびシャプリー値による広く使用されている視覚化よりも、モデル出力に大きく寄与するピクセルをより適切に識別できることが実証されています。
これまでの研究では、Shapley 値と相互作用の計算において指数関数的な計算コストが発生していましたが、我々は、このタスクではこれを 2 次コストに削減できることを示しました。
コードは https://github.com/KosukeSumiyas/MoXI で入手できます。

要約(オリジナル)

To better understand the behavior of image classifiers, it is useful to visualize the contribution of individual pixels to the model prediction. In this study, we propose a method, MoXI ($\textbf{Mo}$del e$\textbf{X}$planation by $\textbf{I}$nteractions), that efficiently and accurately identifies a group of pixels with high prediction confidence. The proposed method employs game-theoretic concepts, Shapley values and interactions, taking into account the effects of individual pixels and the cooperative influence of pixels on model confidence. Theoretical analysis and experiments demonstrate that our method better identifies the pixels that are highly contributing to the model outputs than widely-used visualization by Grad-CAM, Attention rollout, and Shapley value. While prior studies have suffered from the exponential computational cost in the computation of Shapley value and interactions, we show that this can be reduced to quadratic cost for our task. The code is available at https://github.com/KosukeSumiyasu/MoXI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google