FAdam: Adam is a natural gradient optimizer using diagonal empirical Fisher information

要約

本論文では、Adamオプティマイザの数学的基礎を確立し、リーマン幾何学と情報幾何学を通して、自然勾配降下法との関連を解明する。アダムにおける対角の経験的フィッシャー情報行列（FIM）を厳密に解析し、すべての詳細な近似を明らかにするとともに、経験的FIMの限界から、離散分布に基づくべき対数確率関数を損失として用いることを提唱する。我々の分析により、オリジナルのAdamアルゴリズムの欠陥が発見され、運動量計算の強化、バイアス補正の調整、適応イプシロン、勾配クリッピングなどの修正案が導かれた。また、理論的枠組みに基づいて、重み減衰項を改良する。我々の修正アルゴリズムであるFisher Adam (FAdam)は、LLM、ASR、VQ-VAEを含む多様な領域において優れた性能を示し、ASRにおいて最先端の結果を達成した。

要約(オリジナル)

This paper establishes a mathematical foundation for the Adam optimizer, elucidating its connection to natural gradient descent through Riemannian and information geometry. We rigorously analyze the diagonal empirical Fisher information matrix (FIM) in Adam, clarifying all detailed approximations and advocating for the use of log probability functions as loss, which should be based on discrete distributions, due to the limitations of empirical FIM. Our analysis uncovers flaws in the original Adam algorithm, leading to proposed corrections such as enhanced momentum calculations, adjusted bias corrections, adaptive epsilon, and gradient clipping. We refine the weight decay term based on our theoretical framework. Our modified algorithm, Fisher Adam (FAdam), demonstrates superior performance across diverse domains including LLM, ASR, and VQ-VAE, achieving state-of-the-art results in ASR.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL