Batch Normalization Explained

要約

現代の深層ネットワーク (DN) において非常に重要であり、遍在しているが、まだ十分に理解されていない要素は、機能マップを中央に配置して正規化するバッチ正規化 (BN) です。
これまでのところ、BN が DN の学習と推論のパフォーマンスを向上させる理由を理解するための進歩は限られています。
作業は、BN が DN の損失状況を平滑化することを示すことに専念してきました。
この論文では、関数近似の観点から BN を理論的に研究します。
今日の最先端の DN のほとんどが、入力空間のパーティションに対して定義されたアフィン マッピング (いわゆる「線形
地域」）。
{\em BN は、DN の重みまたは勾配ベースの学習とは無関係に、DN のスプライン パーティションのジオメトリをデータに一致するように適応させる教師なし学習手法であることを示しています。} BN は、
DN 学習のパフォーマンス。これは、ランダムな重みで初期化された DN でさえ、そのスプライン パーティションをデータに合わせて調整するためです。
また、ミニバッチ間の BN 統計の変動により、ドロップアウトのようなランダム摂動がパーティション境界に導入され、したがって分類問題の決定境界が導入されることも示します。
このミニバッチごとの摂動は、トレーニング サンプルと決定境界の間のマージンを増やすことで、オーバーフィッティングを減らし、一般化を改善します。

要約(オリジナル)

A critically important, ubiquitous, and yet poorly understood ingredient in modern deep networks (DNs) is batch normalization (BN), which centers and normalizes the feature maps. To date, only limited progress has been made understanding why BN boosts DN learning and inference performance; work has focused exclusively on showing that BN smooths a DN’s loss landscape. In this paper, we study BN theoretically from the perspective of function approximation; we exploit the fact that most of today’s state-of-the-art DNs are continuous piecewise affine (CPA) splines that fit a predictor to the training data via affine mappings defined over a partition of the input space (the so-called ‘linear regions’). {\em We demonstrate that BN is an unsupervised learning technique that — independent of the DN’s weights or gradient-based learning — adapts the geometry of a DN’s spline partition to match the data.} BN provides a ‘smart initialization’ that boosts the performance of DN learning, because it adapts even a DN initialized with random weights to align its spline partition with the data. We also show that the variation of BN statistics between mini-batches introduces a dropout-like random perturbation to the partition boundaries and hence the decision boundary for classification problems. This per mini-batch perturbation reduces overfitting and improves generalization by increasing the margin between the training samples and the decision boundary.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google