Deep Residual Compensation Convolutional Network without Backpropagation

要約

PCANet とその亜種は、分類タスクで優れた精度の結果を提供しました。
ただし、良好な分類精度を達成するにはネットワークの深さが重要であるにもかかわらず、これらのネットワークは最大 9 層でトレーニングされました。
このホワイトペーパーでは、分類精度を向上させながら何百ものレイヤーでトレーニングされた最初の PCANet のようなネットワークである残差補償畳み込みネットワークを紹介します。
提案されたネットワークの設計は、いくつかの畳み込み層で構成され、それぞれに後処理ステップと分類子が続きます。
分類エラーを修正し、ネットワークの深さを大幅に増やすために、前のすべてのレイヤーの残差情報から派生した新しいラベルを使用して各レイヤーをトレーニングします。
この学習メカニズムは、バックプロパゲーションや勾配計算を行わずに、1 回のフォワード パスでネットワークのレイヤーをトラバースすることによって実現されます。
4 つの異なる分類ベンチマーク (MNIST、CIFAR-10、CIFAR-100、および TinyImageNet) での実験では、ディープ ネットワークが既存のすべての PCANet に似たネットワークよりも優れており、いくつかの従来の勾配ベースのモデルと競合することが示されています。

要約(オリジナル)

PCANet and its variants provided good accuracy results for classification tasks. However, despite the importance of network depth in achieving good classification accuracy, these networks were trained with a maximum of nine layers. In this paper, we introduce a residual compensation convolutional network, which is the first PCANet-like network trained with hundreds of layers while improving classification accuracy. The design of the proposed network consists of several convolutional layers, each followed by post-processing steps and a classifier. To correct the classification errors and significantly increase the network’s depth, we train each layer with new labels derived from the residual information of all its preceding layers. This learning mechanism is accomplished by traversing the network’s layers in a single forward pass without backpropagation or gradient computations. Our experiments on four distinct classification benchmarks (MNIST, CIFAR-10, CIFAR-100, and TinyImageNet) show that our deep network outperforms all existing PCANet-like networks and is competitive with several traditional gradient-based models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google