RSAM: Learning on manifolds with Riemannian Sharpness-aware Minimization

要約

現在、損失状況の幾何学的形状を理解することで、モデルの一般化能力を高めることが期待できます。
この研究では、幾何学的な原理を最適化に適用する以前の研究を参考にし、制約付きの最適化問題に対するロバスト性と汎化能力を向上させる新しいアプローチを提示します。
実際、この論文は、Sharpness-Aware Minimization (SAM) オプティマイザをリーマン多様体に一般化することを目的としています。
そうすることで、まずシャープネスの概念を拡張し、多様体にシャープネスの新しい概念を導入します。
このシャープネスの概念をサポートするために、多様体のシャープネスに関する汎化能力を特徴付ける理論的分析を提示します。これは、これまで知られていなかった結果である汎化ギャップに対するより厳しい境界を示しています。
この分析を動機として、私たちはアルゴリズムであるリーマンシャープネス認識最小化 (RSAM) を導入しました。
一般化能力を強化する RSAM の能力を実証するために、CIFAR100、CIFAR10、FGVCAircraft を含むさまざまなデータセットにわたる画像分類や対比学習など、幅広い問題に関してアルゴリズムを評価および対比します。
私たちのコードは \url{https://t.ly/RiemannianSAM} で公開されています。

要約(オリジナル)

Nowadays, understanding the geometry of the loss landscape shows promise in enhancing a model’s generalization ability. In this work, we draw upon prior works that apply geometric principles to optimization and present a novel approach to improve robustness and generalization ability for constrained optimization problems. Indeed, this paper aims to generalize the Sharpness-Aware Minimization (SAM) optimizer to Riemannian manifolds. In doing so, we first extend the concept of sharpness and introduce a novel notion of sharpness on manifolds. To support this notion of sharpness, we present a theoretical analysis characterizing generalization capabilities with respect to manifold sharpness, which demonstrates a tighter bound on the generalization gap, a result not known before. Motivated by this analysis, we introduce our algorithm, Riemannian Sharpness-Aware Minimization (RSAM). To demonstrate RSAM’s ability to enhance generalization ability, we evaluate and contrast our algorithm on a broad set of problems, such as image classification and contrastive learning across different datasets, including CIFAR100, CIFAR10, and FGVCAircraft. Our code is publicly available at \url{https://t.ly/RiemannianSAM}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google