要約
画像分類用の現在の最先端のディープ ニューラル ネットワークは、1,000 万から 1 億の学習可能な重みで構成されているため、本質的に過適合になりがちです。
重みカウントの複雑さは、チャネル数、入力の空間範囲、およびネットワークのレイヤー数の関数として見ることができます。
畳み込み層を使用しているため、重みの複雑さのスケーリングは通常、解像度の次元に関しては線形ですが、チャネル数に関しては 2 次のままです。
ディープ ニューラル ネットワークでマルチグリッドに着想を得たアイデアを使用することに関する近年の活発な研究では、適切な重みの共有によってかなりの数の重みを節約できる一方で、チャネル次元の階層構造によって重みを改善できることが示されています。
複雑さから線形へ。
この作業では、これらのマルチグリッドのアイデアを組み合わせて、マルチグリッドにインスパイアされたアーキテクチャの共同フレームワークを導入します。これは、関連するすべての次元でマルチグリッド構造を利用して、線形の重みの複雑さのスケーリングと大幅な重みカウントの削減を実現します。
私たちの実験では、この構造化された重みカウントの削減によりオーバーフィッティングを削減できることが示されているため、ネットワークの複雑さがより低い一般的な画像分類ベンチマークで、最先端の ResNet アーキテクチャよりもパフォーマンスが向上することが示されています。
要約(オリジナル)
Current state-of-the-art deep neural networks for image classification are made up of 10 – 100 million learnable weights and are therefore inherently prone to overfitting. The complexity of the weight count can be seen as a function of the number of channels, the spatial extent of the input and the number of layers of the network. Due to the use of convolutional layers the scaling of weight complexity is usually linear with regards to the resolution dimensions, but remains quadratic with respect to the number of channels. Active research in recent years in terms of using multigrid inspired ideas in deep neural networks have shown that on one hand a significant number of weights can be saved by appropriate weight sharing and on the other that a hierarchical structure in the channel dimension can improve the weight complexity to linear. In this work, we combine these multigrid ideas to introduce a joint framework of multigrid inspired architectures, that exploit multigrid structures in all relevant dimensions to achieve linear weight complexity scaling and drastically reduced weight counts. Our experiments show that this structured reduction in weight count is able to reduce overfitting and thus shows improved performance over state-of-the-art ResNet architectures on typical image classification benchmarks at lower network complexity.
arxiv情報
| 著者 | Antonia van Betteray,Matthias Rottmann,Karsten Kahl |
| 発行日 | 2022-11-10 12:37:35+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google