On the Importance of Gaussianizing Representations

要約

正規分布は、情報理論の中心的な役割を果たします – 同時に、最良の信号と最悪の騒音分布であり、あらゆる分布の最大の表現能力を持ち、共同分布の無相関性と独立性の同等性を提供します。
深いニューラルネットワークの層全体での活性化の平均と分散を考慮して、効果的なトレーニングの促進に大きな影響を及ぼしましたが、これらの活性化がどのように取るべきか、どのように達成されるかについて、まさに処方箋を持っていることはめったにありません。
正規分布の情報理論特性に動機付けられ、この質問に対処し、同時に正規性正規化を提示します。電力変換を使用して、トレーニング中に添加剤ガウスノイズを使用して、神経ネットワークの特徴表現の正常性を促進する新しい正規化層です。
私たちの実験は、広く使用されているモデルとデータセットの組み合わせの配列での一般化パフォーマンスに関して、正常性の正規化の有効性を包括的に実証しています。モデル幅、深さ、トレーニングミニバッチサイズなどのさまざまな一般的な変動の強力なパフォーマンス、既存の正常化レイヤーが従来使用されている場合の使用の適合性、およびランダムペルタルのランダムを改善するためのモデルとしての使用。

要約(オリジナル)

The normal distribution plays a central role in information theory – it is at the same time the best-case signal and worst-case noise distribution, has the greatest representational capacity of any distribution, and offers an equivalence between uncorrelatedness and independence for joint distributions. Accounting for the mean and variance of activations throughout the layers of deep neural networks has had a significant effect on facilitating their effective training, but seldom has a prescription for precisely what distribution these activations should take, and how this might be achieved, been offered. Motivated by the information-theoretic properties of the normal distribution, we address this question and concurrently present normality normalization: a novel normalization layer which encourages normality in the feature representations of neural networks using the power transform and employs additive Gaussian noise during training. Our experiments comprehensively demonstrate the effectiveness of normality normalization, in regards to its generalization performance on an array of widely used model and dataset combinations, its strong performance across various common factors of variation such as model width, depth, and training minibatch size, its suitability for usage wherever existing normalization layers are conventionally used, and as a means to improving model robustness to random perturbations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google