Normalization-Equivariant Neural Networks with Application to Image Denoising

要約

多くの情報処理システムでは、シフトまたはスケーリングによる入力の変更が、システム応答の対応する変化を確実に引き起こすことが望ましい場合があります。
ディープ ニューラル ネットワークは、従来のすべての自動処理方法を徐々に置き換えつつありますが、驚くべきことに、多くのアプリケーションで有害となる可能性があるこのような正規化等分散性 (スケール + シフト) 特性を保証していません。
この問題に対処するために、正規化等分散が設計上維持されるように既存のニューラル ネットワークを適応させる方法論を提案します。
私たちの主な主張は、通常の畳み込み層だけでなく、事前に活性化されたニューロンに要素ごとに適用される ReLU (修正線形ユニット) を含むすべての活性化関数もニューラル ネットワークから完全に削除し、より優れたものに置き換えるべきであるということです。
条件付きの代替品。
この目的のために、アフィン制約付き畳み込み層とチャネルごとのソート プーリング層をサロゲートとして導入し、これら 2 つのアーキテクチャの変更によりパフォーマンスを損なうことなく正規化等分散性が維持されることを示します。
画像ノイズ除去の実験結果では、正規化等変ニューラル ネットワークは、より適切な調整に加えて、ノイズ レベル全体にわたってより優れた一般化も提供することを示しています。

要約(オリジナル)

In many information processing systems, it may be desirable to ensure that any change of the input, whether by shifting or scaling, results in a corresponding change in the system response. While deep neural networks are gradually replacing all traditional automatic processing methods, they surprisingly do not guarantee such normalization-equivariance (scale + shift) property, which can be detrimental in many applications. To address this issue, we propose a methodology for adapting existing neural networks so that normalization-equivariance holds by design. Our main claim is that not only ordinary convolutional layers, but also all activation functions, including the ReLU (rectified linear unit), which are applied element-wise to the pre-activated neurons, should be completely removed from neural networks and replaced by better conditioned alternatives. To this end, we introduce affine-constrained convolutions and channel-wise sort pooling layers as surrogates and show that these two architectural modifications do preserve normalization-equivariance without loss of performance. Experimental results in image denoising show that normalization-equivariant neural networks, in addition to their better conditioning, also provide much better generalization across noise levels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google