Towards Understanding the Role of Sharpness-Aware Minimization Algorithms for Out-of-Distribution Generalization

要約

最近、シャープネスを最小限に抑えて汎化を改善する有望な方法として、シャープネスを意識した最小化 (SAM) が浮上しています。これは汎化能力とよく相関することが知られています。
SAM の最初の提案以来、精度と効率を向上させるために SAM の多くの変形が提案されてきましたが、比較は主に i.i.d. に限定されてきました。
設定。
このペーパーでは、配布外 (OOD) の一般化のための SAM を研究します。
まず、ゼロショット OOD 一般化に関して 8 つの SAM バリアントの包括的な比較を実行し、元の SAM が Adam ベースラインを平均 $4.76\%$ 上回っており、最も強力な SAM バリアントが Adam ベースラインを平均 $8.01\%$ 上回っていることがわかります。
次に、この設定の鮮明さの観点から OOD 一般化限界を提供します。
次に、SAM の研究を、段階的ドメイン アダプテーション (GDA) の関連設定に拡張します。GDA は、ソース ドメインとターゲット ドメインの間に中間ドメインが構築され、改善するために中間ドメインで反復的な自己トレーニングが行われる OOD 一般化の別の形式です。
ターゲット ドメイン全体のエラー。
この設定では、実験結果は、元の SAM が各実験データセットの Adam のベースラインを平均 $0.82\%$ 上回っており、最も強力な SAM バリアントが Adam を平均 $1.52\%$ 上回っていることを示しています。
次に、GDA 設定で SAM に限定された一般化を提供します。
漸近的には、この一般化限界は、GDA の文献にある自己訓練の限界と同じです。
これは、SAM の理論的正当性とその経験的パフォーマンスの間のさらなる乖離を浮き彫りにしており、最近の研究では、シャープネスの低さだけでは SAM の一般化利点のすべてを説明できないことが判明しています。
将来の作業として、OOD 設定における SAM のより厳密な分析を取得するためのいくつかの潜在的な手段を提供します。

要約(オリジナル)

Recently, sharpness-aware minimization (SAM) has emerged as a promising method to improve generalization by minimizing sharpness, which is known to correlate well with generalization ability. Since the original proposal of SAM, many variants of SAM have been proposed to improve its accuracy and efficiency, but comparisons have mainly been restricted to the i.i.d. setting. In this paper we study SAM for out-of-distribution (OOD) generalization. First, we perform a comprehensive comparison of eight SAM variants on zero-shot OOD generalization, finding that the original SAM outperforms the Adam baseline by $4.76\%$ and the strongest SAM variants outperform the Adam baseline by $8.01\%$ on average. We then provide an OOD generalization bound in terms of sharpness for this setting. Next, we extend our study of SAM to the related setting of gradual domain adaptation (GDA), another form of OOD generalization where intermediate domains are constructed between the source and target domains, and iterative self-training is done on intermediate domains, to improve the overall target domain error. In this setting, our experimental results demonstrate that the original SAM outperforms the baseline of Adam on each of the experimental datasets by $0.82\%$ on average and the strongest SAM variants outperform Adam by $1.52\%$ on average. We then provide a generalization bound for SAM in the GDA setting. Asymptotically, this generalization bound is no better than the one for self-training in the literature of GDA. This highlights a further disconnection between the theoretical justification for SAM versus its empirical performance, with recent work finding that low sharpness alone does not account for all of SAM’s generalization benefits. For future work, we provide several potential avenues for obtaining a tighter analysis for SAM in the OOD setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google