Strong inductive biases provably prevent harmless interpolation

要約

古典的な知恵では、推定器は適切な一般化を達成するためにフィッティング ノイズを避けるべきであることが示唆されています。
対照的に、最新の過パラメータ化されたモデルは、内挿ノイズにもかかわらず、小さなテスト エラーを生成する可能性があります。これは、「無害な過適合」または「無害な内挿」と呼ばれることが多い現象です。
この論文では、補間が無害である程度は、推定量の誘導バイアスの強さ、つまり、推定量が特定の構造を持つソリューションをどれだけ優先するかによって決まると主張しています。強い誘導バイアスは無害な補間を防ぎますが、弱い誘導バイアスはフィッティングノイズを必要とすることさえあります。
よく一般化する。
私たちの主な理論的結果は、フィルターサイズが誘導バイアスの強度を調節する畳み込みカーネルのこの現象を反映する、高次元カーネル回帰の厳密な非漸近的境界を確立します。
さらに、さまざまなフィルター サイズと回転不変性を持つディープ ニューラル ネットワークの同じ動作の経験的証拠を提供します。

要約(オリジナル)

Classical wisdom suggests that estimators should avoid fitting noise to achieve good generalization. In contrast, modern overparameterized models can yield small test error despite interpolating noise — a phenomenon often called ‘benign overfitting’ or ‘harmless interpolation’. This paper argues that the degree to which interpolation is harmless hinges upon the strength of an estimator’s inductive bias, i.e., how heavily the estimator favors solutions with a certain structure: while strong inductive biases prevent harmless interpolation, weak inductive biases can even require fitting noise to generalize well. Our main theoretical result establishes tight non-asymptotic bounds for high-dimensional kernel regression that reflect this phenomenon for convolutional kernels, where the filter size regulates the strength of the inductive bias. We further provide empirical evidence of the same behavior for deep neural networks with varying filter sizes and rotational invariance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google