Mechanism of feature learning in convolutional neural networks

要約

畳み込みニューラルネットワークが画像データから特徴を学習するメカニズムを理解することは、機械学習やコンピュータビジョンにおける基本的な問題である。本研究では、そのようなメカニズムを明らかにする。これは、畳み込み層のフィルターの共分散は、その層への入力のパッチに関して取られる平均勾配外積（AGOP）に比例するというものである。AlexNet、VGG、ImageNetで事前に訓練されたResNetsなどの標準的なニューラルアーキテクチャの畳み込み層について、フィルタの共分散とパッチベースのAGOPの間に高い相関があることを確認するなど、我々のアサッツに対する広範な経験的証拠を提示する。また、理論的根拠も示す。次に、畳み込みカーネルマシンにおける深い特徴学習を可能にするためにパッチベースのAGOPを用いることで、我々の結果の一般性を示す。得られたアルゴリズムを（Deep）ConvRFMと呼び、我々のアルゴリズムが、エッジ検出器の顕著な出現を含む、深い畳み込みネットワークと同様の特徴を回復することを示す。さらに、Deep ConvRFMは、画像中の局所的な信号に適応できないといった、以前から確認されている畳み込みカーネルの限界を克服し、その結果、固定畳み込みカーネルよりも大幅な性能向上をもたらすことを見出す。

要約(オリジナル)

Understanding the mechanism of how convolutional neural networks learn features from image data is a fundamental problem in machine learning and computer vision. In this work, we identify such a mechanism. We posit the Convolutional Neural Feature Ansatz, which states that covariances of filters in any convolutional layer are proportional to the average gradient outer product (AGOP) taken with respect to patches of the input to that layer. We present extensive empirical evidence for our ansatz, including identifying high correlation between covariances of filters and patch-based AGOPs for convolutional layers in standard neural architectures, such as AlexNet, VGG, and ResNets pre-trained on ImageNet. We also provide supporting theoretical evidence. We then demonstrate the generality of our result by using the patch-based AGOP to enable deep feature learning in convolutional kernel machines. We refer to the resulting algorithm as (Deep) ConvRFM and show that our algorithm recovers similar features to deep convolutional networks including the notable emergence of edge detectors. Moreover, we find that Deep ConvRFM overcomes previously identified limitations of convolutional kernels, such as their inability to adapt to local signals in images and, as a result, leads to sizable performance improvement over fixed convolutional kernels.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL