Deep Learning without Global Optimization by Random Fourier Neural Networks

要約

ランダムな複雑な指数関数的活性化関数を利用する、さまざまなディープ ニューラル ネットワーク用の新しいトレーニング アルゴリズムを紹介します。
私たちのアプローチでは、マルコフ連鎖モンテカルロ サンプリング手順を採用してネットワーク層を反復的にトレーニングし、エラー制御を維持しながらグローバルおよび勾配ベースの最適化を回避します。
ネットワークの複雑さによって決定される、複雑な指数活性化関数を持つ残差ネットワークの理論的な近似率を一貫して達成します。
さらに、マルチスケールおよび高周波特徴の効率的な学習が可能になり、解釈可能なパラメーター分布が生成されます。
正弦波基底関数を使用しているにもかかわらず、不連続なターゲット関数の近似においてギブス現象は観察されません。

要約(オリジナル)

We introduce a new training algorithm for variety of deep neural networks that utilize random complex exponential activation functions. Our approach employs a Markov Chain Monte Carlo sampling procedure to iteratively train network layers, avoiding global and gradient-based optimization while maintaining error control. It consistently attains the theoretical approximation rate for residual networks with complex exponential activation functions, determined by network complexity. Additionally, it enables efficient learning of multiscale and high-frequency features, producing interpretable parameter distributions. Despite using sinusoidal basis functions, we do not observe Gibbs phenomena in approximating discontinuous target functions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google