A Novel Method for improving accuracy in neural network by reinstating traditional back propagation technique

要約

ディープラーニングは、コンピュータービジョン、自然言語処理、音声認識などの業界に革命をもたらしました。
ただし、ディープ ニューラル ネットワークをトレーニングするための主な方法であるバックプロパゲーションは、計算オーバーヘッドや勾配の消失などの課題に直面しています。
この論文では、各層で勾配を計算する必要性を排除する、新しい即時パラメータ更新方法論を提案します。
私たちのアプローチは学習を加速し、勾配消失問題を回避し、ベンチマーク データセットで最先端の手法を上回るパフォーマンスを発揮します。
この研究は、効率的かつ効果的なディープ ニューラル ネットワーク トレーニングに対する有望な方向性を示しています。

要約(オリジナル)

Deep learning has revolutionized industries like computer vision, natural language processing, and speech recognition. However, back propagation, the main method for training deep neural networks, faces challenges like computational overhead and vanishing gradients. In this paper, we propose a novel instant parameter update methodology that eliminates the need for computing gradients at each layer. Our approach accelerates learning, avoids the vanishing gradient problem, and outperforms state-of-the-art methods on benchmark data sets. This research presents a promising direction for efficient and effective deep neural network training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google