TRAM: Bridging Trust Regions and Sharpness Aware Minimization

要約

パラメータ空間の損失曲面の曲率を低減することにより、シャープネスを意識した最小化 (SAM) は、ドメイン転送下で広範なロバスト性の向上をもたらします。
ただし、この研究ではパラメーターに焦点を当てるのではなく、微調整セットアップにおけるドメイン外の一般化の最適化ターゲットとして表現の転送可能性を考慮しています。
転送可能な表現の保持を促進するために、事前トレーニングからのタスクに依存しない表現を忘れることなく、タスク固有のスキルを活用する信頼領域ベースの微調整方法を検討します。
信頼領域境界を使用して、これらの最適化面の両方で SAM スタイルの正則化子に情報を提供することにより、パラメーター空間と表現空間の平滑化アプローチを統合します。
私たちは、事前にトレーニングされた構造を忘れることなく、平らな最小値と滑らかで有益な表現を最適化する微調整アルゴリズムである Trust Regional Aware Minimization (TRAM) を提案します。
TRAM は、クロスドメイン言語モデリングとクロス言語転送において、シャープネスを考慮した最適化手法と信頼領域ベースの最適化手法の両方よりも優れたパフォーマンスを発揮することがわかりました。この場合、ドメイン転送に対する堅牢性と表現の汎用性が成功のために重要です。
TRAM は、最小限の追加計算で一般化可能なモデルをトレーニングする新しい標準を確立します。

要約(オリジナル)

By reducing the curvature of the loss surface in the parameter space, Sharpness-aware minimization (SAM) yields widespread robustness improvement under domain transfer. Instead of focusing on parameters, however, this work considers the transferability of representations as the optimization target for out-of-domain generalization in a fine-tuning setup. To encourage the retention of transferable representations, we consider trust region-based fine-tuning methods, which exploit task-specific skills without forgetting task-agnostic representations from pre-training. We unify parameter- and representation-space smoothing approaches by using trust region bounds to inform SAM-style regularizers on both of these optimization surfaces. We propose Trust Region Aware Minimization (TRAM), a fine-tuning algorithm that optimizes for flat minima and smooth, informative representations without forgetting pre-trained structure. We find that TRAM outperforms both sharpness-aware and trust region-based optimization methods on cross-domain language modeling and cross-lingual transfer, where robustness to domain transfer and representation generality are critical for success. TRAM establishes a new standard in training generalizable models with minimal additional computation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google