Efficient Numerical Algorithm for Large-Scale Damped Natural Gradient Descent

要約

パラメータの数が利用可能なサンプルの数を大幅に超える大規模なシナリオで、減衰フィッシャー行列を効率的に解くための新しいアルゴリズムを提案します。
この問題は、自然勾配降下法と確率的再構成にとって基本的な問題です。
私たちのアルゴリズムはコレスキー分解に基づいており、一般的に適用できます。
ベンチマークの結果は、このアルゴリズムが既存の方法よりも大幅に高速であることを示しています。

要約(オリジナル)

We propose a new algorithm for efficiently solving the damped Fisher matrix in large-scale scenarios where the number of parameters significantly exceeds the number of available samples. This problem is fundamental for natural gradient descent and stochastic reconfiguration. Our algorithm is based on Cholesky decomposition and is generally applicable. Benchmark results show that the algorithm is significantly faster than existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google