Leveraging the Triple Exponential Moving Average for Fast-Adaptive Moment Estimation

要約

ネットワークの最適化は、コンピュータビジョンなどの様々な領域におけるモデルの性能に直接影響するため、深層学習の分野では極めて重要なステップです。長年にわたり数多くのオプティマイザーが開発されてきましたが、現在の手法は、勾配の傾向を正確かつ迅速に特定する能力にまだ限界があり、最適とは言えないネットワーク性能につながる可能性があります。本論文では、Fast-Adaptive Moment Estimation (FAME)と呼ばれる新しいディープオプティマイザを提案し、Triple Exponential Moving Average (TEMA) を用いて勾配モーメントを初めて推定します。TEMAを最適化プロセスに組み込むことで、現在の主要な適応的最適化手法で使用されている標準的な指数移動平均と比較して、データの変化や傾向に関するより豊富で正確な情報を得ることができます。我々の提案するFAMEオプティマイザーは、CIFAR-10、CIFAR-100、PASCAL-VOC、MS-COCO、Cityscapesなどの幅広いベンチマークで、14種類の学習アーキテクチャ、6種類のオプティマイザー、検出、分類、意味理解などの様々な視覚タスクを用いて広範囲に検証されています。その結果、我々のFAMEオプティマイザーが、ロバスト性と精度の両面で他の主要なオプティマイザーを凌駕していることが示された。

要約(オリジナル)

Network optimization is a crucial step in the field of deep learning, as it directly affects the performance of models in various domains such as computer vision. Despite the numerous optimizers that have been developed over the years, the current methods are still limited in their ability to accurately and quickly identify gradient trends, which can lead to sub-optimal network performance. In this paper, we propose a novel deep optimizer called Fast-Adaptive Moment Estimation (FAME), which for the first time estimates gradient moments using a Triple Exponential Moving Average (TEMA). Incorporating TEMA into the optimization process provides richer and more accurate information on data changes and trends, as compared to the standard Exponential Moving Average used in essentially all current leading adaptive optimization methods. Our proposed FAME optimizer has been extensively validated through a wide range of benchmarks, including CIFAR-10, CIFAR-100, PASCAL-VOC, MS-COCO, and Cityscapes, using 14 different learning architectures, six optimizers, and various vision tasks, including detection, classification and semantic understanding. The results demonstrate that our FAME optimizer outperforms other leading optimizers in terms of both robustness and accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL