AFN: Adaptive Fusion Normalization via an Encoder-Decoder Framework

要約

深層学習の成功は、正規化層と切り離すことができません。
研究者はさまざまな正規化関数を提案していますが、それぞれに長所と短所があります。
これに応えて、すべての正規化手順を組み合わせてその弱点を軽減する、統一された正規化関数を設計する取り組みが行われてきました。
また、Adaptive Fusion Normalization と呼ばれる新しい正規化関数も提案しました。
実験を通じて、AFN が領域一般化および画像分類タスクにおいて以前の正規化手法よりも優れていることを実証しました。

要約(オリジナル)

The success of deep learning is inseparable from normalization layers. Researchers have proposed various normalization functions, and each of them has both advantages and disadvantages. In response, efforts have been made to design a unified normalization function that combines all normalization procedures and mitigates their weaknesses. We also proposed a new normalization function called Adaptive Fusion Normalization. Through experiments, we demonstrate AFN outperforms the previous normalization techniques in domain generalization and image classification tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google