PACE: marrying generalization in PArameter-efficient fine-tuning with Consistency rEgularization

要約

Parameter-Efficient Fine-Tuning (PEFT) は、事前トレーニングされたビジョン トランスフォーマーを下流のタスクに効果的に適応させます。
ただし、タスクのパフォーマンスの最適化には、多くの場合、微調整されたモデルの一般化性が犠牲になります。
この問題に対処するために、理論的にはトレーニング中のより小さな重み勾配ノルムとより大きなデータセットを改良されたモデル一般化に結び付けます。
この関連性を動機として、一般化を強化するために勾配ノルムを削減し、大規模な事前トレーニング データからの知識を保持するために事前トレーニングされたモデルと微調整されたモデルを調整することを提案します。
しかし、単純な調整では勾配の低減が保証されず、勾配の爆発を引き起こす可能性があり、勾配を管理する取り組みが複雑になります。
このような問題に対処するために、パラメータ効率の高い微調整の一般化と一貫性の規則化を組み合わせた PACE を提案します。
アダプターから学習した特徴を乗算ノイズで摂動させ、異なる摂動下でも同じサンプルに対して微調整されたモデルの一貫性が保たれるようにします。
理論的分析により、PACE は一般化を強化するために勾配を暗黙的に正規化するだけでなく、知識を保持するために微調整および事前トレーニングされたモデルを暗黙的に調整することも示しています。
実験的証拠は私たちの理論を裏付けています。
PACE は、VTAB-1k、FGVC、少数ショット学習、ドメイン適応という 4 つの視覚適応タスクにおいて、既存の PEFT 手法よりも優れた性能を発揮します。
コードは https://github.com/MaxwellYaoNi/PACE で入手できます。

要約(オリジナル)

Parameter-Efficient Fine-Tuning (PEFT) effectively adapts pre-trained vision transformers to downstream tasks. However, the optimization for tasks performance often comes at the cost of generalizability in fine-tuned models. To address this issue, we theoretically connect smaller weight gradient norms during training and larger datasets to the improved model generalization. Motivated by this connection, we propose reducing gradient norms for enhanced generalization and aligning fine-tuned model with the pre-trained counterpart to retain knowledge from large-scale pre-training data. Yet, naive alignment does not guarantee gradient reduction and can potentially cause gradient explosion, complicating efforts to manage gradients. To address such issues, we propose PACE, marrying generalization of PArameter-efficient fine-tuning with Consistency rEgularization. We perturb features learned from the adapter with the multiplicative noise and ensure the fine-tuned model remains consistent for same sample under different perturbations. Theoretical analysis shows that PACE not only implicitly regularizes gradients for enhanced generalization, but also implicitly aligns the fine-tuned and pre-trained models to retain knowledge. Experimental evidence supports our theories. PACE outperforms existing PEFT methods in four visual adaptation tasks: VTAB-1k, FGVC, few-shot learning and domain adaptation. Code will be available at https://github.com/MaxwellYaoNi/PACE

arxiv情報

提供元, 利用サービス

arxiv.jp, Google