Online Learning for the Random Feature Model in the Student-Teacher Framework

要約

【タイトル】生徒と先生のフレームワークにおけるランダムフィーチャーモデルのオンライン学習

【要約】
– 深層ニューラルネットワークは、ウェイトの数が増えるにつれて性能が向上することがあり、過剰にパラメータ化されています。
– 第1層が固定され、最後の層が訓練可能な2層ニューラルネットワーク（ランダムフィーチャーモデル）を考慮して、生徒と先生のフレームワークの過剰パラメータ化を研究し、学習ダイナミクスの微分方程式のセットを導出します。
– 隠れ層のサイズと入力次元の有限の比率では、学生は完全に汎化することができず、非ゼロの漸近的な一般化誤差を計算します。
– 生徒の隠れ層のサイズが入力次元より指数関数的に大きい場合にのみ、完璧な一般化のアプローチが可能です。

要約(オリジナル)

Deep neural networks are widely used prediction algorithms whose performance often improves as the number of weights increases, leading to over-parametrization. We consider a two-layered neural network whose first layer is frozen while the last layer is trainable, known as the random feature model. We study over-parametrization in the context of a student-teacher framework by deriving a set of differential equations for the learning dynamics. For any finite ratio of hidden layer size and input dimension, the student cannot generalize perfectly, and we compute the non-zero asymptotic generalization error. Only when the student’s hidden layer size is exponentially larger than the input dimension, an approach to perfect generalization is possible.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI