Pruning for Interpretable, Feature-Preserving Circuits in CNNs

要約

深い畳み込みニューラルネットワークは、さまざまなコンピュータービジョンの問題に対する強力なモデルクラスですが、そのサイズが非常に大きいため、実装する画像フィルタリングプロセスを解釈することは困難です。
この作業では、顕著性ベースのニューラルネットワークプルーニングからの方法を活用して、ディープCNNから「機能保存回路」を抽出する方法を紹介します。
これらの回路はモジュール式のサブ機能であり、ネットワーク内に埋め込まれており、ターゲット機能に関連する畳み込みカーネルのサブセットのみが含まれています。
これらのまばらな回路を抽出するための3つの顕著性基準の有効性を比較します。
さらに、特定の画像に対する特徴の応答を保持し、特徴をさらにまばらなフィルタリングプロセスに分割する「サブ特徴」回路を抽出する方法を示します。
また、回路によって実装された画像フィルタリングプロセス全体を解析可能な形式でレンダリングする「回路図」を視覚化するためのツールも開発しています。

要約(オリジナル)

Deep convolutional neural networks are a powerful model class for a range of computer vision problems, but it is difficult to interpret the image filtering process they implement, given their sheer size. In this work, we introduce a method for extracting ‘feature-preserving circuits’ from deep CNNs, leveraging methods from saliency-based neural network pruning. These circuits are modular sub-functions, embedded within the network, containing only a subset of convolutional kernels relevant to a target feature. We compare the efficacy of 3 saliency-criteria for extracting these sparse circuits. Further, we show how ‘sub-feature’ circuits can be extracted, that preserve a feature’s responses to particular images, dividing the feature into even sparser filtering processes. We also develop a tool for visualizing ‘circuit diagrams’, which render the entire image filtering process implemented by circuits in a parsable format.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google