Neural Hilbert Ladders: Multi-Layer Neural Networks in Function Space

要約

ニューラル ネットワーク (NN) によって探索される関数空間の特徴付けは、深層学習理論の重要な側面です。
この研究では、任意の幅を持つ多層 NN が、ニューラル ヒルベルト ラダー (NHL) と呼ばれる、再現カーネル ヒルベルト空間 (RKHS) の特定の階層を定義するものと見なされます。
これにより、浅い NN の以前の結果を一般化する関数空間と複雑さの尺度を定義できるようになり、その後、いくつかの側面でそれらの理論的特性と意味を調べることができます。
まず、L 層 NN で表現される関数と L レベル NHL に属する関数との対応を証明します。
次に、複雑さの尺度を制御して NHL を学習するための一般化の保証を証明します。
第三に、無限幅の平均場の限界での多層 NN のトレーニングに対応して、複数のランダム場のダイナミクスとして特徴付けられる NHL の進化を導き出します。
第 4 に、ReLU および二次活性化関数に基づく NHL における深さ分離の例を示します。
最後に、NN トレーニングにおける RKHS の学習を説明するために数値結果で理論を補完します。

要約(オリジナル)

The characterization of the functions spaces explored by neural networks (NNs) is an important aspect of deep learning theory. In this work, we view a multi-layer NN with arbitrary width as defining a particular hierarchy of reproducing kernel Hilbert spaces (RKHSs), named a Neural Hilbert Ladder (NHL). This allows us to define a function space and a complexity measure that generalize prior results for shallow NNs, and we then examine their theoretical properties and implications in several aspects. First, we prove a correspondence between functions expressed by L-layer NNs and those belonging to L-level NHLs. Second, we prove generalization guarantees for learning an NHL with the complexity measure controlled. Third, corresponding to the training of multi-layer NNs in the infinite-width mean-field limit, we derive an evolution of the NHL characterized as the dynamics of multiple random fields. Fourth, we show examples of depth separation in NHLs under ReLU and quadratic activation functions. Finally, we complement the theory with numerical results to illustrate the learning of RKHS in NN training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google