NoMorelization: Building Normalizer-Free Models from a Sample’s Perspective

要約

正規化層は、深層学習モデルの基本構成の 1 つになりましたが、計算の非効率性、解釈の難しさ、および一般性の低さにまだ悩まされています。
サンプルの観点から、最近のノーマライゼーションおよびノー​​マライザーを使用しない研究作業をより深く理解した後、問題はサンプリング ノイズと不適切な事前仮定にあるという事実を明らかにします。
この論文では、「NoMorelization」と呼ばれる、正規化に代わるシンプルで効果的な代替手段を提案します。
NoMorelization は、2 つのトレーニング可能なスカラーとゼロ中心のノイズ インジェクターで構成されます。
実験結果は、NoMorelization が深層学習の一般的なコンポーネントであり、さまざまなタスク (識別タスクや生成タスクなど) に取り組むためのさまざまなモデル パラダイム (畳み込みベースのモデルや注意ベースのモデルなど) に適していることを示しています。
既存の主流のノーマライザー (BN、LN、IN など) や最先端の​​ノーマライザーを使用しない方法と比較すると、NoMorelization は速度と精度の最適なトレードオフを示しています。

要約(オリジナル)

The normalizing layer has become one of the basic configurations of deep learning models, but it still suffers from computational inefficiency, interpretability difficulties, and low generality. After gaining a deeper understanding of the recent normalization and normalizer-free research works from a sample’s perspective, we reveal the fact that the problem lies in the sampling noise and the inappropriate prior assumption. In this paper, we propose a simple and effective alternative to normalization, which is called ‘NoMorelization’. NoMorelization is composed of two trainable scalars and a zero-centered noise injector. Experimental results demonstrate that NoMorelization is a general component for deep learning and is suitable for different model paradigms (e.g., convolution-based and attention-based models) to tackle different tasks (e.g., discriminative and generative tasks). Compared with existing mainstream normalizers (e.g., BN, LN, and IN) and state-of-the-art normalizer-free methods, NoMorelization shows the best speed-accuracy trade-off.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google