Minimum norm interpolation by perceptra: Explicit regularization and implicit bias

要約

私たちは、浅い ReLU ネットワークが既知の領域間をどのように補間するかを調査します。
私たちの分析では、重み減衰正則化器がネットワーク幅とデータ点の数に応じて正確な速度で消える係数でペナルティを課されると、データ点とパラメータの数が無限になる傾向があるため、経験的リスク最小化器が最小ノルム内挿に収束することが示されています。
育つ。
明示的な正則化の有無にかかわらず、既知の最小ノルム補間関数に対する一般的な最適化アルゴリズムの暗黙的なバイアスを数値的に研究します。

要約(オリジナル)

We investigate how shallow ReLU networks interpolate between known regions. Our analysis shows that empirical risk minimizers converge to a minimum norm interpolant as the number of data points and parameters tends to infinity when a weight decay regularizer is penalized with a coefficient which vanishes at a precise rate as the network width and the number of data points grow. With and without explicit regularization, we numerically study the implicit bias of common optimization algorithms towards known minimum norm interpolants.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google