Enhancing Sharpness-Aware Minimization by Learning Perturbation Radius

要約

シャープネスを意識した最小化 (SAM) は、損失状況で平坦な最小値を検索することによってモデルの一般化を改善します。
SAM 更新は、摂動を計算する 1 つのステップと更新勾配を計算するもう 1 つのステップで構成されます。
2 つのステップ内で摂動半径の選択は SAM のパフォーマンスにとって重要ですが、適切な摂動半径を見つけるのは困難です。
この論文では、シャープネスを意識した最小化アルゴリズムの摂動半径を学習するために、LEarning the perTurbation radiuS (LETS) と呼ばれるバイレベル最適化フレームワークを提案します。
具体的には、提案されたLETS手法では、上位レベルの問題は、トレーニング損失と検証損失の間の二乗汎化ギャップを最小化することによって適切な摂動半径を求めることを目的とし、下位レベルの問題はSAM最適化問題です。
さらに、LETS メソッドは SAM の任意の変形と組み合わせることができます。
コンピュータ ビジョンと自然言語処理におけるさまざまなアーキテクチャとベンチマーク データセットに関する実験結果は、SAM のパフォーマンス向上における提案された LETS 手法の有効性を実証しています。

要約(オリジナル)

Sharpness-aware minimization (SAM) is to improve model generalization by searching for flat minima in the loss landscape. The SAM update consists of one step for computing the perturbation and the other for computing the update gradient. Within the two steps, the choice of the perturbation radius is crucial to the performance of SAM, but finding an appropriate perturbation radius is challenging. In this paper, we propose a bilevel optimization framework called LEarning the perTurbation radiuS (LETS) to learn the perturbation radius for sharpness-aware minimization algorithms. Specifically, in the proposed LETS method, the upper-level problem aims at seeking a good perturbation radius by minimizing the squared generalization gap between the training and validation losses, while the lower-level problem is the SAM optimization problem. Moreover, the LETS method can be combined with any variant of SAM. Experimental results on various architectures and benchmark datasets in computer vision and natural language processing demonstrate the effectiveness of the proposed LETS method in improving the performance of SAM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google