Multilevel Objective-Function-Free Optimization with an Application to Neural Networks Training

要約

目的関数の評価を必要としない、制約のない非線形最適化のためのマルチレベル アルゴリズムのクラスが提示されます。
このクラスには、運動量のない AdaGrad メソッドが特定の (単一レベルの) インスタンスとして含まれています。
目的関数の評価を回避するという選択は、クラスのアルゴリズムをノイズの影響を受けにくくすることを目的としていますが、マルチレベル機能は計算コストを削減することを目的としています。
これらのアルゴリズムの評価の複雑さが分析され、ノイズが存在する場合の動作が、教師あり学習アプリケーション用のディープ ニューラル ネットワークのトレーニングのコンテキストで示されます。

要約(オリジナル)

A class of multi-level algorithms for unconstrained nonlinear optimization is presented which does not require the evaluation of the objective function. The class contains the momentum-less AdaGrad method as a particular (single-level) instance. The choice of avoiding the evaluation of the objective function is intended to make the algorithms of the class less sensitive to noise, while the multi-level feature aims at reducing their computational cost. The evaluation complexity of these algorithms is analyzed and their behaviour in the presence of noise is then illustrated in the context of training deep neural networks for supervised learning applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google