Understanding Nonlinear Implicit Bias via Region Counts in Input Space

要約

ニューラルネットワークの強力な一般化能力の1つの説明は、暗黙的なバイアスです。
しかし、非線形コンテキストにおける暗黙のバイアスの定義とメカニズムはほとんど理解されていません。
この作業では、同じ予測ラベルを持つ入力空間内の接続領域の数によって暗黙のバイアスを特徴付けることを提案します。
パラメーター依存のメトリック（たとえば、ノルムまたは正規化されたマージン）と比較して、領域数は、関数マッピングによって決定され、reparametrizationに不変であるため、非線形のオーバーパラム化モデルによりよく適合させることができます。
経験的には、小さな領域数が幾何学的に単純な決定境界と整合し、優れた一般化パフォーマンスとよく相関することがわかりました。
また、より大きな学習率やバッチサイズが小さいなど、優れたハイパーパラメーターの選択肢が小さな領域数を誘導する可能性があることも観察します。
さらに、理論的なつながりを確立し、学習率が大きくなるとニューラルネットワークの小さな領域数を誘導することができることを説明します。

要約(オリジナル)

One explanation for the strong generalization ability of neural networks is implicit bias. Yet, the definition and mechanism of implicit bias in non-linear contexts remains little understood. In this work, we propose to characterize implicit bias by the count of connected regions in the input space with the same predicted label. Compared with parameter-dependent metrics (e.g., norm or normalized margin), region count can be better adapted to nonlinear, overparameterized models, because it is determined by the function mapping and is invariant to reparametrization. Empirically, we found that small region counts align with geometrically simple decision boundaries and correlate well with good generalization performance. We also observe that good hyper-parameter choices such as larger learning rates and smaller batch sizes can induce small region counts. We further establish the theoretical connections and explain how larger learning rate can induce small region counts in neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google