Random features and polynomial rules

要約

ランダムな特徴モデルは、深い学習の理論において際立った役割を果たし、無限の幅の制限に近いニューラルネットワークの挙動を説明します。
この作業では、ガウスデータを使用した一般的な監視された学習問題のランダム機能モデルの一般化パフォーマンスの徹底的な分析を提示します。
無秩序なシステムの統計的メカニクスのツールで構築された私たちのアプローチは、ランダム機能モデルを同等の多項式モデルにマッピングし、問題の2つの主要な制御パラメーターの関数として平均一般化曲線をプロットすることができます。ランダム機能の数
$ n $とトレーニングセットのサイズ$ p $。どちらも、入力寸法$ d $のパワーとしてスケーリングされると想定されています。
私たちの結果は、$ n $、$ p $、$ d $の比例スケーリングのケースを拡張します。
それらは、特定の特定の学習タスクで知られている厳格な境界に従って、$ n $と$ p $の多くの大きさにわたって行われた数値実験と定量的な一致をしています。
また、$ d \ to \ infty $、$ p/d^k $の間で$ d \ to \ infty $、$ n/d^l $の間に有限のままである漸近制限とはかけ離れていることもあります。

要約(オリジナル)

Random features models play a distinguished role in the theory of deep learning, describing the behavior of neural networks close to their infinite-width limit. In this work, we present a thorough analysis of the generalization performance of random features models for generic supervised learning problems with Gaussian data. Our approach, built with tools from the statistical mechanics of disordered systems, maps the random features model to an equivalent polynomial model, and allows us to plot average generalization curves as functions of the two main control parameters of the problem: the number of random features $N$ and the size $P$ of the training set, both assumed to scale as powers in the input dimension $D$. Our results extend the case of proportional scaling between $N$, $P$ and $D$. They are in accordance with rigorous bounds known for certain particular learning tasks and are in quantitative agreement with numerical experiments performed over many order of magnitudes of $N$ and $P$. We find good agreement also far from the asymptotic limits where $D\to \infty$ and at least one between $P/D^K$, $N/D^L$ remains finite.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google