AutoFT: Robust Fine-Tuning by Optimizing Hyperparameters on OOD Data

要約

基盤モデルは、タスク固有のデータを微調整することで、目的のタスクに適応できる豊富な表現をエンコードします。
ただし、特定のデータ分布でモデルを微調整すると、他の分布でのモデルの元のパフォーマンスが損なわれることがよくあります。
堅牢な微調整のための現在の方法は、手作りの正則化技術を利用して、基本基礎モデルに向けて微調整プロセスを制限します。
ただし、微調整中に保持する基礎モデルの特性を正確に指定することは、事前トレーニング、微調整、および評価データの分布が相互にどのように関連しているかに依存するため、困難です。
私たちは、基盤モデルの微調整をガイドするためのデータ駆動型アプローチである AutoFT を提案します。
AutoFT は、ハイパーパラメータの微調整を最適化し、小規模な配布外 (OOD) 検証セットでのパフォーマンスを最大化します。
きめ細かい方法で微調整をガイドするために、AutoFT は、学習率と重み減衰値に加えて、さまざまな損失の重み係数を含む、表現力の高いハイパーパラメーター空間を検索します。
ドメイン シフトと部分母集団シフトを含む 9 つの自然分布シフトに基づいて AutoFT を評価します。
私たちの実験では、AutoFT が新しい OOD データへの一般化を大幅に改善し、既存の堅牢な微調整手法を上回るパフォーマンスを示していることがわかりました。
特に、AutoFT は、WILDS-iWildCam および WILDS-FMoW ベンチマークで新しい最先端のパフォーマンスを達成し、以前の最高の手法をそれぞれ $6.0\%$ および $1.5\%$ 上回りました。

要約(オリジナル)

Foundation models encode rich representations that can be adapted to a desired task by fine-tuning on task-specific data. However, fine-tuning a model on one particular data distribution often compromises the model’s original performance on other distributions. Current methods for robust fine-tuning utilize hand-crafted regularization techniques to constrain the fine-tuning process towards the base foundation model. Yet, it is hard to precisely specify what characteristics of the foundation model to retain during fine-tuning, as this depends on how the pre-training, fine-tuning, and evaluation data distributions relate to each other. We propose AutoFT, a data-driven approach for guiding foundation model fine-tuning. AutoFT optimizes fine-tuning hyperparameters to maximize performance on a small out-of-distribution (OOD) validation set. To guide fine-tuning in a granular way, AutoFT searches a highly expressive hyperparameter space that includes weight coefficients for many different losses, in addition to learning rate and weight decay values. We evaluate AutoFT on nine natural distribution shifts which include domain shifts and subpopulation shifts. Our experiments show that AutoFT significantly improves generalization to new OOD data, outperforming existing robust fine-tuning methods. Notably, AutoFT achieves new state-of-the-art performance on the WILDS-iWildCam and WILDS-FMoW benchmarks, outperforming the previous best methods by $6.0\%$ and $1.5\%$, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google