Pruning for Feature-Preserving Circuits in CNNs

要約

タイトル：CNNs内の特徴保存回路のプルーニング

要約：

– CNNsはコンピュータビジョン問題の範囲においてパワフルなモデルですが、大規模なために画像フィルタリング処理を解釈するのは困難です。
– この論文では、神経ネットワークのプルーニングに関連した方法を利用して、CNNsから「特徴保存回路」を抽出する方法を紹介しています。
– これらの回路は、ターゲット機能に関連する畳み込みカーネルのサブセットのみを含むモジュラーなサブ関数であり、ネットワーク内に埋め込まれています。
– 3つの顕著性基準の効果を比較して、これらのまばらな回路を抽出する方法を説明しています。
– さらに、特定の画像に対する機能の反応を保持する「サブ機能」回路を抽出する方法を示し、特徴をよりまばらなフィルタリングプロセスに分けます。
– 回路プロセスを解析可能な形式でレンダリングする「回路図」を視覚化するためのツールも開発しています。

要約(オリジナル)

Deep convolutional neural networks are a powerful model class for a range of computer vision problems, but it is difficult to interpret the image filtering process they implement, given their sheer size. In this work, we introduce a method for extracting ‘feature-preserving circuits’ from deep CNNs, leveraging methods from saliency-based neural network pruning. These circuits are modular sub-functions, embedded within the network, containing only a subset of convolutional kernels relevant to a target feature. We compare the efficacy of 3 saliency-criteria for extracting these sparse circuits. Further, we show how ‘sub-feature’ circuits can be extracted, that preserve a feature’s responses to particular images, dividing the feature into even sparser filtering processes. We also develop a tool for visualizing ‘circuit diagrams’, which render the entire image filtering process implemented by circuits in a parsable format.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI