Connection Reduction Is All You Need

要約

畳み込みニューラル ネットワーク (CNN) は、畳み込み層を積み重ねることで深さを増し、より深いネットワーク モデルは画像認識でより優れたパフォーマンスを発揮します。
実証研究によると、単純に畳み込み層を積み重ねてもネットワーク トレーニングは改善されず、スキップ接続 (残差学習) によってネットワーク モデルのパフォーマンスが向上する可能性があります。
画像分類タスクの場合、グローバルな密結合アーキテクチャを持つモデルは、ImageNet などの大規模なデータセットで適切に機能しますが、CIFAR-10 や SVHN などの小規模なデータセットには適していません。
密な接続とは異なり、層を接続する 2 つの新しいアルゴリズムを提案します。
Baseline は密に接続されたネットワークであり、2 つの新しいアルゴリズムによって接続されたネットワークは、それぞれ ShortNet1 および ShortNet2 と名付けられています。
CIFAR-10 および SVHN での画像分類の実験結果は、ShortNet1 が Baseline よりもテスト エラー率が 5% 低く、推論時間が 25% 速いことを示しています。
ShortNet2 は、テスト精度の低下を抑えながら、推論時間を 40% 高速化します。

要約(オリジナル)

Convolutional Neural Networks (CNN) increase depth by stacking convolutional layers, and deeper network models perform better in image recognition. Empirical research shows that simply stacking convolutional layers does not make the network train better, and skip connection (residual learning) can improve network model performance. For the image classification task, models with global densely connected architectures perform well in large datasets like ImageNet, but are not suitable for small datasets such as CIFAR-10 and SVHN. Different from dense connections, we propose two new algorithms to connect layers. Baseline is a densely connected network, and the networks connected by the two new algorithms are named ShortNet1 and ShortNet2 respectively. The experimental results of image classification on CIFAR-10 and SVHN show that ShortNet1 has a 5% lower test error rate and 25% faster inference time than Baseline. ShortNet2 speeds up inference time by 40% with less loss in test accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google