Unleashing the Power of Meta-tuning for Few-shot Generalization Through Sparse Interpolated Experts

要約

最近の成功は、基礎モデルのパラメータ効率の高い微調整が視覚における転移学習の最先端の方法として、メタ学習などの代替手段に関する豊富な文献に取って代わることを示唆しています。
両方の長所を活用しようとして、メタチューニングは基礎モデルの後続の最適化段階を導入しますが、これまでのところ限定的な成功しか示しておらず、配布外 (OOD) タスクではパフォーマンスが著しく低下する傾向があります。
この論文では、Sparse MetA-Tuning (SMAT) を紹介します。これは、専門家の疎混合アプローチに触発され、各タスクのメタチューニングのために事前トレーニングされたパラメーターのサブセットを自動的に分離するようにトレーニングされたメソッドです。
SMAT は OOD 感度を克服することに成功し、パラメーター効率の高い微調整を超えて視覚基盤モデルの伝達​​能力を強化するという約束を果たします。
私たちは、ゼロショットと勾配ベースの適応設定の両方で、追加の OOD タスクで強化されたメタデータセットの挑戦的な組み合わせで、新しい最先端の結果を確立しました。
さらに、スパース エキスパート手法に関して、学習されたスパース パターンが手作業で設計されたスパース パターンよりも優れていること、および分布内一般化と分布外一般化のバランスを取る上でのスパース レベルの極めて重要な点について、徹底的な分析を提供します。
私たちのコードは公開されています。

要約(オリジナル)

Recent successes suggest that parameter-efficient fine-tuning of foundation models as the state-of-the-art method for transfer learning in vision, replacing the rich literature of alternatives such as meta-learning. In trying to harness the best of both worlds, meta-tuning introduces a subsequent optimization stage of foundation models but has so far only shown limited success and crucially tends to underperform on out-of-distribution (OOD) tasks. In this paper, we introduce Sparse MetA-Tuning (SMAT), a method inspired by sparse mixture-of-experts approaches and trained to isolate subsets of pre-trained parameters automatically for meta-tuning on each task. SMAT successfully overcomes OOD sensitivity and delivers on the promise of enhancing the transfer abilities of vision foundation models beyond parameter-efficient fine-tuning. We establish new state-of-the-art results on a challenging combination of Meta-Dataset augmented with additional OOD tasks in both zero-shot and gradient-based adaptation settings. In addition, we provide a thorough analysis of the superiority of learned over hand-designed sparsity patterns for sparse expert methods and the pivotal importance of the sparsity level in balancing between in-distribution and out-of-distribution generalization. Our code is publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google