Deep Residual Axial Networks

要約

残差ネットワーク (ResNets) はコンピューター ビジョン タスクで優れたパフォーマンスを発揮しますが、その計算コストは​​依然として高いままです。
ここでは、空間 2D 畳み込み演算を 2 つの連続した 1D 畳み込み演算に置き換える、新しいネットワーク アーキテクチャである軸型 ResNet を提案することで、このコストの削減に焦点を当てます。
非常に深いアキシャル ResNet の収束は、ネットワークが効率的に機能するのを妨げる劣化の問題に直面しています。
これを軽減するために、各 1D 畳み込み演算に残差接続を適用し、最終的な新しいアーキテクチャ、つまり残差軸ネットワーク (RAN) を提案します。
広範なベンチマーク評価により、CIFAR ベンチマーク、SVHN、および Tiny ImageNet 画像分類データセットでは、RAN が ResNet よりも約 49% 少ないパラメーターで優れていることが示されています。
さらに、提案された RAN は、CIFAR ベンチマークの幅広い ResNets や画像超解像データセットの深い再帰的残差ネットワークと比較して、検証パフォーマンスの大幅な改善を示しています。

要約(オリジナル)

While residual networks (ResNets) demonstrate outstanding performance on computer vision tasks, their computational cost still remains high. Here, we focus on reducing this cost by proposing a new network architecture, axial ResNet, which replaces spatial 2D convolution operations with two consecutive 1D convolution operations. Convergence of very deep axial ResNets has faced degradation problems which prevent the networks from performing efficiently. To mitigate this, we apply a residual connection to each 1D convolutional operation and propose our final novel architecture namely residual axial networks (RANs). Extensive benchmark evaluation shows that RANs outperform with about 49% fewer parameters than ResNets on CIFAR benchmarks, SVHN, and Tiny ImageNet image classification datasets. Moreover, our proposed RANs show significant improvement in validation performance in comparison to the wide ResNets on CIFAR benchmarks and the deep recursive residual networks on image super-resolution dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google