Neural Hilbert Ladders: Multi-Layer Neural Networks in Function Space

要約

ニューラル ネットワーク (NN) によって探索される関数空間を特徴付けることは、学習理論の重要な側面です。
この研究では、多層 NN が再生成カーネル ヒルベルト空間 (RKHS) の階層 (ニューラル ヒルベルト ラダー (NHL) と呼ばれる) を暗黙的に生成することに注目し、関数空間を RKHS の無限結合として定義し、既存のバロン関数を一般化します。
2層NNの空間理論。
次に、新しい空間のいくつかの理論的特性を確立します。
まず、L 層 NN で表現される関数と L レベル NHL に属する関数との対応を証明します。
次に、制御された複雑さの尺度を使用して NHL を学習するための一般化の保証を証明します。
第三に、無限幅の平均場の限界での多層 NN のトレーニングによって引き起こされる NHL の進化を支配するランダム場の非マルコフ力学を導出します。
第 4 に、ReLU 活性化関数の下での NHL における深さ分離の例を示します。
最後に、数値実験を実行して、NHL のレンズを通して NN トレーニングの特徴学習の側面を説明します。

要約(オリジナル)

To characterize the function space explored by neural networks (NNs) is an important aspect of learning theory. In this work, noticing that a multi-layer NN generates implicitly a hierarchy of reproducing kernel Hilbert spaces (RKHSs) – named a neural Hilbert ladder (NHL) – we define the function space as an infinite union of RKHSs, which generalizes the existing Barron space theory of two-layer NNs. We then establish several theoretical properties of the new space. First, we prove a correspondence between functions expressed by L-layer NNs and those belonging to L-level NHLs. Second, we prove generalization guarantees for learning an NHL with a controlled complexity measure. Third, we derive a non-Markovian dynamics of random fields that governs the evolution of the NHL which is induced by the training of multi-layer NNs in an infinite-width mean-field limit. Fourth, we show examples of depth separation in NHLs under the ReLU activation function. Finally, we perform numerical experiments to illustrate the feature learning aspect of NN training through the lens of NHLs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google