A survey of deep learning optimizers-first and second order methods

要約

深層学習の最適化には、重み空間で高次元の損失関数を最小化することが含まれます。これは、鞍点、極小値、ヘッセ行列の悪条件、計算リソースの制限などの固有の問題により、困難であると認識されることがよくあります。
この論文では、深層学習研究で成功裏に使用された 12 の標準最適化手法の包括的なレビューと、最適化に関する文献からの数値最適化の難しさの理論的評価を提供します。

要約(オリジナル)

Deep Learning optimization involves minimizing a high-dimensional loss function in the weight space which is often perceived as difficult due to its inherent difficulties such as saddle points, local minima, ill-conditioning of the Hessian and limited compute resources. In this paper, we provide a comprehensive review of 12 standard optimization methods successfully used in deep learning research and a theoretical assessment of the difficulties in numerical optimization from the optimization literature.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google