Break a Lag: Triple Exponential Moving Average for Enhanced Optimization

要約

深層学習モデルのパフォーマンスは、高度な最適化戦略に大きく依存します。
既存のオプティマイザーは有望な結果を示していますが、その多くは 1 次指数移動平均 (EMA) 手法に依存しているため、複雑な勾配傾向を正確に追跡する能力が制限されることがよくあります。
この事実は、特に非常に動的な勾配動作において、傾向の特定と次善の最適化において大幅な遅れを引き起こす可能性があります。
この根本的な制限に対処するために、三重指数移動平均の力を活用する新しい最適化手法である高速適応モーメント推定 (FAME) を導入します。
高度な追跡メカニズムを組み込むことで、FAME はデータのダイナミクスへの応答性を強化し、トレンド識別の遅れを軽減し、学習効率を最適化します。
当社の包括的な評価には、画像分類、オブジェクト検出、セマンティック セグメンテーションなどのさまざまなコンピューター ビジョン タスクが含まれており、軽量 CNN からビジョン トランスフォーマーに至るまで、FAME を 30 の異なるアーキテクチャに統合しています。
最先端のオプティマイザーに対する厳格なベンチマークを通じて、FAME は優れた精度と堅牢性を実証します。
特に、高いスケーラビリティを提供し、さまざまなモデルの複雑さ、アーキテクチャ、タスク、ベンチマークにわたって大幅な改善を実現します。

要約(オリジナル)

The performance of deep learning models is critically dependent on sophisticated optimization strategies. While existing optimizers have shown promising results, many rely on first-order Exponential Moving Average (EMA) techniques, which often limit their ability to track complex gradient trends accurately. This fact can lead to a significant lag in trend identification and suboptimal optimization, particularly in highly dynamic gradient behavior. To address this fundamental limitation, we introduce Fast Adaptive Moment Estimation (FAME), a novel optimization technique that leverages the power of Triple Exponential Moving Average. By incorporating an advanced tracking mechanism, FAME enhances responsiveness to data dynamics, mitigates trend identification lag, and optimizes learning efficiency. Our comprehensive evaluation encompasses different computer vision tasks including image classification, object detection, and semantic segmentation, integrating FAME into 30 distinct architectures ranging from lightweight CNNs to Vision Transformers. Through rigorous benchmarking against state-of-the-art optimizers, FAME demonstrates superior accuracy and robustness. Notably, it offers high scalability, delivering substantial improvements across diverse model complexities, architectures, tasks, and benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google