On the relationship between multivariate splines and infinitely-wide neural networks

要約

多変量スプラインを検討し、それらが 1 つの隠れ層と整流された線形ユニットのパワーである均一な活性化関数を備えた無限に広いニューラル ネットワークとして、ランダムな機能拡張を持っていることを示します。
関連する関数空間はユークリッド ボール上のソボレフ空間であり、導関数のノルムに明示的な境界があることを示します。
このリンクは、効率的なアルゴリズムを可能にする多変量スプラインの新しいランダム機能拡張を提供します。
このランダムな特徴展開は、理論的にも実践的にも、通常のランダムなフーリエ特徴よりも数値的に優れています。
特に、次元 1 では、関連するレバレッジ スコアを比較して 2 つのランダムな拡張を比較し、ニューラル ネットワーク拡張のスケーリングがより優れていることを示します。

要約(オリジナル)

We consider multivariate splines and show that they have a random feature expansion as infinitely wide neural networks with one-hidden layer and a homogeneous activation function which is the power of the rectified linear unit. We show that the associated function space is a Sobolev space on a Euclidean ball, with an explicit bound on the norms of derivatives. This link provides a new random feature expansion for multivariate splines that allow efficient algorithms. This random feature expansion is numerically better behaved than usual random Fourier features, both in theory and practice. In particular, in dimension one, we compare the associated leverage scores to compare the two random expansions and show a better scaling for the neural network expansion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google