Error-free Training for Artificial Neural Network

要約

人工ニューラル ネットワーク (ANN) モデルの従来のトレーニング方法では、大規模なデータに対して体系的にエラー率ゼロを達成することはできません。
新しいトレーニング方法は 3 つのステップで構成されます。まず、クローン データの損失関数のグローバル最小値に正確に対応する従来の方法でトレーニングされたパラメーターから補助データを作成します。
次に、補助データと元のデータの 1 パラメーターのホモトピー (ハイブリッド) を作成します。
3 番目に、繰り返しごとにゼロエラー トレーニング レートを維持しながら、ホモトピー パラメーターの補助データ端から元のデータ端までハイブリッド データのモデルを繰り返しトレーニングします。
この継続法は、ANN トレーニング問題を、動的システムからの一様収縮マッピング定理が適用されるトレーニング パラメーター空間内のパラメーター化された変換の固定点に対する継続問題に変換する定理によって数値的に収束することが保証されています。

要約(オリジナル)

Conventional training methods for artificial neural network (ANN) models never achieve zero error rate systematically for large data. A new training method consists of three steps: first create an auxiliary data from conventionally trained parameters which correspond exactly to a global minimum for the loss function of the cloned data; second create a one-parameter homotopy (hybrid) of the auxiliary data and the original data; and third train the model for the hybrid data iteratively from the auxiliary data end of the homotopy parameter to the original data end while maintaining the zero-error training rate at every iteration. This continuationmethod is guaranteed to converge numerically by a theorem which converts the ANN training problem into a continuation problem for fixed points of a parameterized transformation in the training parameter space to which the Uniform Contraction Mapping Theorem from dynamical systems applies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google