An Adaptive Policy to Employ Sharpness-Aware Minimization

要約

タイトル：シャープネス意識最小化を適応的に使用するポリシー

要約：

– SAMは、ミニマックス最適化によって平らな極小値を探索するが、2つの勾配を計算する必要があるため、計算コストとトレーニング時間が通常のERMと比較して倍増する。
– 最近の研究では、SAMとERMの更新をランダムに切り換えることによって、SAMの割合を減らし、SAMの加速を図っている。
– 本論文では、損失ランドスケープのジオメトリに基づいてSAMを使用する適応ポリシーを設計する。
– AE-SAMとAE-LookSAMの2つの効率的なアルゴリズムが提案されている。
– AE-SAMはSAMと同じ収束速度を持つことを理論的に示し、様々なデータセットとアーキテクチャでの実験結果が提案した適応ポリシーの効率性と有効性を実証している。

要約(オリジナル)

Sharpness-aware minimization (SAM), which searches for flat minima by min-max optimization, has been shown to be useful in improving model generalization. However, since each SAM update requires computing two gradients, its computational cost and training time are both doubled compared to standard empirical risk minimization (ERM). Recent state-of-the-arts reduce the fraction of SAM updates and thus accelerate SAM by switching between SAM and ERM updates randomly or periodically. In this paper, we design an adaptive policy to employ SAM based on the loss landscape geometry. Two efficient algorithms, AE-SAM and AE-LookSAM, are proposed. We theoretically show that AE-SAM has the same convergence rate as SAM. Experimental results on various datasets and architectures demonstrate the efficiency and effectiveness of the adaptive policy.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI