BOREx: Bayesian-Optimization–Based Refinement of Saliency Map for Image- and Video-Classification Models

要約

画像とビデオの分類モデルによって生成された分類結果を説明することは、コンピューター ビジョンにおける重要でありながら困難な問題の 1 つです。
モデルの内部情報 (LRP、Grad-CAM、および Grad-CAM++ など) を使用するホワイト ボックス アプローチに基づくものを含め、この目的のためにヒート マップ ベースの説明を作成するための多くの方法が提案されています。
内部情報を使用しないブラックボックス アプローチに基づくもの (LIME、SHAP、RISE など)。
任意の方法で生成されたヒート マップを改良するための新しいブラック ボックス手法 BOREx (Bayesian Optimization for Refinement of visual model Explanation) を提案します。
私たちの観察では、ヒート マップ ベースの説明は、ベイジアン最適化に基づく説明方法の優先順位と見なすことができます。
この観察に基づいて、BOREx はガウス過程回帰 (GPR) を実行して、別の説明方法によって生成された画像から開始して、特定の画像内の各ピクセルの顕著性を推定します。
私たちの実験は、BOREx による改良が画像およびビデオ分類結果の低品質ヒート マップを改善することを統計的に示しています。

要約(オリジナル)

Explaining a classification result produced by an image- and video-classification model is one of the important but challenging issues in computer vision. Many methods have been proposed for producing heat-map–based explanations for this purpose, including ones based on the white-box approach that uses the internal information of a model (e.g., LRP, Grad-CAM, and Grad-CAM++) and ones based on the black-box approach that does not use any internal information (e.g., LIME, SHAP, and RISE). We propose a new black-box method BOREx (Bayesian Optimization for Refinement of visual model Explanation) to refine a heat map produced by any method. Our observation is that a heat-map–based explanation can be seen as a prior for an explanation method based on Bayesian optimization. Based on this observation, BOREx conducts Gaussian process regression (GPR) to estimate the saliency of each pixel in a given image starting from the one produced by another explanation method. Our experiments statistically demonstrate that the refinement by BOREx improves low-quality heat maps for image- and video-classification results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google