Kernel interpolation generalizes poorly

要約

最近のカーネル回帰研究の復活における最も興味深い問題の 1 つは、カーネル補間がうまく一般化できるかどうかかもしれません。これは、深層ネットワークに関する文献で報告されている「良性の過学習現象」を理解するのに役立つ可能性があるためです。
この論文では、穏やかな条件下で、任意の $\varepsilon>0$ に対して、カーネル補間の汎化誤差が $\Omega(n^{-\varepsilon})$ によって下限されることを示します。
言い換えれば、カーネル補間は、大きなクラスのカーネルに対してはあまり一般化されません。
直接の帰結として、球上に定義された過適合されたワイド ニューラル ネットワークは一般化が不十分であることがわかります。

要約(オリジナル)

One of the most interesting problems in the recent renaissance of the studies in kernel regression might be whether the kernel interpolation can generalize well, since it may help us understand the `benign overfitting henomenon’ reported in the literature on deep networks. In this paper, under mild conditions, we show that for any $\varepsilon>0$, the generalization error of kernel interpolation is lower bounded by $\Omega(n^{-\varepsilon})$. In other words, the kernel interpolation generalizes poorly for a large class of kernels. As a direct corollary, we can show that overfitted wide neural networks defined on the sphere generalize poorly.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google