FAdam: Adam is a natural gradient optimizer using diagonal empirical Fisher information

要約

この論文は、Adam オプティマイザーの数学的基礎を確立し、リーマンおよび情報幾何学を通じて自然勾配降下法との関係を解明します。
我々は、Adam の対角経験的フィッシャー情報行列 (FIM) を厳密に分析し、すべての詳細な近似を明らかにし、経験的 FIM の制限により、離散分布に基づくべきである損失として対数確率関数を使用することを提唱します。
私たちの分析により、元の Adam アルゴリズムの欠陥が明らかになり、強化された運動量計算、調整されたバイアス補正、適応イプシロン、勾配クリッピングなどの修正案が提案されました。
理論的枠組みに基づいて重み減衰項を改良します。
当社の修正アルゴリズムである Fisher Adam (FAdam) は、LLM、ASR、VQ-VAE を含むさまざまなドメインにわたって優れたパフォーマンスを実証し、ASR で最先端の結果を達成します。

要約(オリジナル)

This paper establishes a mathematical foundation for the Adam optimizer, elucidating its connection to natural gradient descent through Riemannian and information geometry. We rigorously analyze the diagonal empirical Fisher information matrix (FIM) in Adam, clarifying all detailed approximations and advocating for the use of log probability functions as loss, which should be based on discrete distributions, due to the limitations of empirical FIM. Our analysis uncovers flaws in the original Adam algorithm, leading to proposed corrections such as enhanced momentum calculations, adjusted bias corrections, adaptive epsilon, and gradient clipping. We refine the weight decay term based on our theoretical framework. Our modified algorithm, Fisher Adam (FAdam), demonstrates superior performance across diverse domains including LLM, ASR, and VQ-VAE, achieving state-of-the-art results in ASR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google