Simplicity Bias of Two-Layer Networks beyond Linearly Separable Data

要約

単純性バイアス、つまり深いモデルが単純な特徴に過度に依存する傾向は、ニューラル ネットワークの分布外一般化が制限される潜在的な理由として特定されています (Shah et al., 2020)。
重要な意味にもかかわらず、この現象は線形分離可能性などの強力なデータセットの仮定の下でのみ理論的に確認され、特徴付けられてきました (Lyu et al., 2021)。
この研究では、小さな重みで初期化され、勾配フローでトレーニングされた 2 層ニューラル ネットワークのコンテキストで、一般的なデータセットの単純性バイアスを特徴付けます。
具体的には、トレーニングの初期段階では、ネットワーク特徴が隠れ層のサイズに依存しないいくつかの方向の周りに集まっていることを証明します。
さらに、XOR のようなパターンを持つデータセットの場合、学習された特徴を正確に特定し、後のトレーニング段階で単純性バイアスが強化されることを示します。
これらの結果は、トレーニングの中間段階で学習された特徴が OOD 転送により役立つ可能性があることを示しています。
私たちは画像データの実験でこの仮説を支持します。

要約(オリジナル)

Simplicity bias, the propensity of deep models to over-rely on simple features, has been identified as a potential reason for limited out-of-distribution generalization of neural networks (Shah et al., 2020). Despite the important implications, this phenomenon has been theoretically confirmed and characterized only under strong dataset assumptions, such as linear separability (Lyu et al., 2021). In this work, we characterize simplicity bias for general datasets in the context of two-layer neural networks initialized with small weights and trained with gradient flow. Specifically, we prove that in the early training phases, network features cluster around a few directions that do not depend on the size of the hidden layer. Furthermore, for datasets with an XOR-like pattern, we precisely identify the learned features and demonstrate that simplicity bias intensifies during later training stages. These results indicate that features learned in the middle stages of training may be more useful for OOD transfer. We support this hypothesis with experiments on image data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google