Visually explaining 3D-CNN predictions for video classification with an adaptive occlusion sensitivity analysis

要約

この論文は、閉塞感度分析の時間的拡張を伴う3D畳み込みニューラルネットワーク（CNN）の意思決定プロセスを視覚的に説明する方法を提案します。
ここでの重要なアイデアは、入力3D時空間データ空間の3Dマスクによって特定の量のデータを遮り、出力スコアの変化度を測定することです。
より大きな変化度を生み出す閉塞ボリュームデータは、分類にとってより重要な要素と見なされます。
ただし、オクルージョン感度分析は単一画像分類の分析に一般的に使用されますが、単純な固定直方体ではモーションを処理できないため、このアイデアをビデオ分類に適用するのはそれほど簡単ではありません。
この目的のために、3Dオクルージョンマスクの形状をターゲットオブジェクトの複雑な動きに適合させます。
私たちの柔軟なマスク適応は、入力ビデオデータから抽出されたオプティカルフローの時間的連続性と空間的共起を考慮することによって実行されます。
さらに、入力画像に関するスコアの1次偏導関数を使用して、計算コストを削減することにより、この方法を近似することを提案します。
UCF-101の削除/挿入メトリックとポインティングメトリックの観点から、従来の方法とのさまざまな広範な比較を通じて、この方法の有効性を示します。
コードはhttps://github.com/uchiyama33/AOSAで入手できます。

要約(オリジナル)

This paper proposes a method for visually explaining the decision-making process of 3D convolutional neural networks (CNN) with a temporal extension of occlusion sensitivity analysis. The key idea here is to occlude a specific volume of data by a 3D mask in an input 3D temporal-spatial data space and then measure the change degree in the output score. The occluded volume data that produces a larger change degree is regarded as a more critical element for classification. However, while the occlusion sensitivity analysis is commonly used to analyze single image classification, it is not so straightforward to apply this idea to video classification as a simple fixed cuboid cannot deal with the motions. To this end, we adapt the shape of a 3D occlusion mask to complicated motions of target objects. Our flexible mask adaptation is performed by considering the temporal continuity and spatial co-occurrence of the optical flows extracted from the input video data. We further propose to approximate our method by using the first-order partial derivative of the score with respect to an input image to reduce its computational cost. We demonstrate the effectiveness of our method through various and extensive comparisons with the conventional methods in terms of the deletion/insertion metric and the pointing metric on the UCF-101. The code is available at: https://github.com/uchiyama33/AOSA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google