Convolutional Neural Networks Do Work with Pre-Defined Filters

要約

我々は、定義済みフィルター畳み込みニューラル ネットワーク (PFCNN) と呼ばれる新しいクラスの畳み込みニューラル ネットワークを紹介します。ここでは、n>1 のすべての nxn 畳み込みカーネルが事前定義されており、トレーニング中に一定になります。
これには、事前定義フィルター モジュール (PFM) と呼ばれる特別な形式の深さ方向の畳み込み演算が含まれます。
チャネルごとの畳み込み部分では、1xnxn カーネルは、わずか数 (16) の異なる事前定義カーネルの固定プールから抽出されます。
1×1 畳み込み部分では、事前定義されたフィルター出力の線形結合が学習されます。
この厳しい制限にもかかわらず、複雑で差別的な特徴が学習されます。
これらの発見は、ディープ CNN 内で情報がどのように処理されるかについて新しい視点を提供します。
PFCNN のさまざまな特性について説明し、人気のあるデータセット Caltech101、CIFAR10、CUB-200-2011、FGVC-Aircraft、Fflowers102、Stanford Cars を使用してその有効性を証明します。
PFCNN の実装は Github https://github.com/Criscraft/PredefineFilterNetworks で提供されています。

要約(オリジナル)

We present a novel class of Convolutional Neural Networks called Pre-defined Filter Convolutional Neural Networks (PFCNNs), where all nxn convolution kernels with n>1 are pre-defined and constant during training. It involves a special form of depthwise convolution operation called a Pre-defined Filter Module (PFM). In the channel-wise convolution part, the 1xnxn kernels are drawn from a fixed pool of only a few (16) different pre-defined kernels. In the 1×1 convolution part linear combinations of the pre-defined filter outputs are learned. Despite this harsh restriction, complex and discriminative features are learned. These findings provide a novel perspective on the way how information is processed within deep CNNs. We discuss various properties of PFCNNs and prove their effectiveness using the popular datasets Caltech101, CIFAR10, CUB-200-2011, FGVC-Aircraft, Flowers102, and Stanford Cars. Our implementation of PFCNNs is provided on Github https://github.com/Criscraft/PredefinedFilterNetworks

arxiv情報

提供元, 利用サービス

arxiv.jp, Google