Benign Overfitting in Linear Classifiers and Leaky ReLU Networks from KKT Conditions for Margin Maximization

要約

ロジスティック損失の勾配フローによってトレーニングされた線形分類器と漏洩 ReLU ネットワークには、マージン最大化のための Karush–Kuhn–Tucker (KKT) 条件を満たす解に対する暗黙のバイアスがあります。
この作業では、これらの KKT 条件の満足が、線形分類器および 2 層の漏洩 ReLU ネットワークでの無害なオーバーフィッティングを意味するいくつかの設定を確立します。推定器はノイズの多いトレーニング データを補間し、同時にテスト データに適切に一般化します。
設定には、以前の作業で考慮されたノイズの多いクラス条件付きガウスのバリアントと、良性の過剰適合が以前に観察されなかった新しい分布設定が含まれます。
私たちの証明の重要な要素は、トレーニング データがほぼ直交している場合、それぞれのマージン最大化問題の KKT 条件を満たす線形分類器と漏洩 ReLU ネットワークの両方が、トレーニング サンプルのほぼ均一な平均​​のように動作するという観察です。

要約(オリジナル)

Linear classifiers and leaky ReLU networks trained by gradient flow on the logistic loss have an implicit bias towards solutions which satisfy the Karush–Kuhn–Tucker (KKT) conditions for margin maximization. In this work we establish a number of settings where the satisfaction of these KKT conditions implies benign overfitting in linear classifiers and in two-layer leaky ReLU networks: the estimators interpolate noisy training data and simultaneously generalize well to test data. The settings include variants of the noisy class-conditional Gaussians considered in previous work as well as new distributional settings where benign overfitting has not been previously observed. The key ingredient to our proof is the observation that when the training data is nearly-orthogonal, both linear classifiers and leaky ReLU networks satisfying the KKT conditions for their respective margin maximization problems behave like a nearly uniform average of the training examples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google