Translation-Equivariance of Normalization Layers and Aliasing in Convolutional Neural Networks

要約

連続的な翻訳と正確に同等の畳み込み神経アーキテクチャの設計は、研究の積極的な分野です。
特に既存のイメージングシステムをより物理的に正確にすることにより、科学的コンピューティングに利益をもたらすことを約束します。
ほとんどの努力は、ダウンサンプリング/プーリングレイヤー、アップサンプリング層、活性化機能の設計に焦点を当てていますが、正規化層にはほとんど注意が払われていません。
この作業では、正規化層と個別のシフトと連続翻訳への等寛容を理解するための新しい理論的枠組みを提示します。
また、正規化層が動作するディメンションの観点から等しくなるために必要かつ十分な条件を決定します。
ResNet-18とImagenetの実際の機能マップを使用して、これらの理論的結果を経験的にテストし、予測と一致していることがわかります。

要約(オリジナル)

The design of convolutional neural architectures that are exactly equivariant to continuous translations is an active field of research. It promises to benefit scientific computing, notably by making existing imaging systems more physically accurate. Most efforts focus on the design of downsampling/pooling layers, upsampling layers and activation functions, but little attention is dedicated to normalization layers. In this work, we present a novel theoretical framework for understanding the equivariance of normalization layers to discrete shifts and continuous translations. We also determine necessary and sufficient conditions for normalization layers to be equivariant in terms of the dimensions they operate on. Using real feature maps from ResNet-18 and ImageNet, we test those theoretical results empirically and find that they are consistent with our predictions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google