Random Vector Functional Link Networks for Function Approximation on Manifolds

要約

フィードフォワード ニューラル ネットワークの学習速度は遅いことで悪名高く、数十年にわたって深層学習アプリケーションのボトルネックとなってきました。
たとえば、ニューラル ネットワークのトレーニングに広く使用されている勾配ベースの学習アルゴリズムは、すべてのネットワーク パラメーターを繰り返し調整する必要がある場合、動作が遅くなる傾向があります。
これに対抗するために、研究者も実践者も、学習要件を軽減するためにランダム性を導入しようと試みてきました。
Igelnik と Pao のオリジナルの構築に基づいて、ランダムな入力から隠れ層への重みとバイアスを備えた単層ニューラル ネットワークは実際に成功を収めていますが、必要な理論的根拠が不足しています。
この論文では、この理論上のギャップを埋め始めます。
我々は、Igelnik と Pao の構造がコンパクトな領域上の連続関数の汎用近似器であるという (修正された) 厳密な証明を提供します。近似誤差は、次の数 $n$ に対して $O(1/\sqrt{n})$ のように漸近的に減衰します。
ネットワークノード。
次に、この結果を非漸近設定に拡張し、$n$ が十分に大きい場合には、任意の望ましい近似誤差を高確率で達成できることを証明します。
このランダム化されたニューラル ネットワーク アーキテクチャをさらに適応させて、ユークリッド空間の滑らかでコンパクトな部分多様体上の関数を近似し、漸近形式と非漸近形式の両方で理論的保証を提供します。
最後に、数値実験を使用して多様体に関する結果を説明します。

要約(オリジナル)

The learning speed of feed-forward neural networks is notoriously slow and has presented a bottleneck in deep learning applications for several decades. For instance, gradient-based learning algorithms, which are used extensively to train neural networks, tend to work slowly when all of the network parameters must be iteratively tuned. To counter this, both researchers and practitioners have tried introducing randomness to reduce the learning requirement. Based on the original construction of Igelnik and Pao, single layer neural-networks with random input-to-hidden layer weights and biases have seen success in practice, but the necessary theoretical justification is lacking. In this paper, we begin to fill this theoretical gap. We provide a (corrected) rigorous proof that the Igelnik and Pao construction is a universal approximator for continuous functions on compact domains, with approximation error decaying asymptotically like $O(1/\sqrt{n})$ for the number $n$ of network nodes. We then extend this result to the non-asymptotic setting, proving that one can achieve any desired approximation error with high probability provided $n$ is sufficiently large. We further adapt this randomized neural network architecture to approximate functions on smooth, compact submanifolds of Euclidean space, providing theoretical guarantees in both the asymptotic and non-asymptotic forms. Finally, we illustrate our results on manifolds with numerical experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google