A free from local minima algorithm for training regressive MLP neural networks

要約

この記事では、極小値の影響を受けない、回帰 MLP ネットワークをトレーニングするための革新的な方法を紹介します。
William-Hinton-Rummelhart によって提案された Error-Back-Propagation アルゴリズムには、機械学習技術の開発を促進するという利点があり、1980 年代半ば以来、研究と技術のあらゆる分野に浸透してきました。
この並外れた成功は主にブラックボックス アプローチによるものですが、より困難な問題に取り組むとすぐに、この同じ要因が限界ともみなされました。
トレーニング アルゴリズムの最も重要な側面の 1 つは、損失関数の極小値、通常はトレーニング セットの出力の平均二乗誤差です。
実際、最も一般的なトレーニング アルゴリズムは損失関数の導関数によって駆動されるため、到達した最小値がローカルなのかグローバルなのかを評価することはできません。
この論文で提示されたアルゴリズムは、トレーニングがトレーニング セットの分布の特性に基づいているか、ニューラル ネットワーク内部のイメージに基づいているため、極小値の問題を回避します。
アルゴリズムのパフォーマンスは、よく知られたベンチマークに対して示されています。

要約(オリジナル)

In this article an innovative method for training regressive MLP networks is presented, which is not subject to local minima. The Error-Back-Propagation algorithm, proposed by William-Hinton-Rummelhart, has had the merit of favouring the development of machine learning techniques, which has permeated every branch of research and technology since the mid-1980s. This extraordinary success is largely due to the black-box approach, but this same factor was also seen as a limitation, as soon more challenging problems were approached. One of the most critical aspects of the training algorithms was that of local minima of the loss function, typically the mean squared error of the output on the training set. In fact, as the most popular training algorithms are driven by the derivatives of the loss function, there is no possibility to evaluate if a reached minimum is local or global. The algorithm presented in this paper avoids the problem of local minima, as the training is based on the properties of the distribution of the training set, or better on its image internal to the neural network. The performance of the algorithm is shown for a well-known benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google