Split & Merge: Unlocking the Potential of Visual Adapters via Sparse Training

要約

事前トレーニングされた基礎モデルの規模が急速に拡大するにつれて、パラメーター効率の高い微調整手法が大きな注目を集めており、その中でアダプター チューニングが最も広く使用されています。
効率が達成されているにもかかわらず、アダプター調整は依然として完全な微調整には及ばず、パラメーターの増加を犠牲にしてパフォーマンスが向上します。
最近の取り組みでは、元のアダプターを削除することでこの問題に対処していますが、特定のデータセットではトレーニングの不安定性や次善のパフォーマンスも引き起こします。
これを動機として、アダプター内の各パラメーターの可能性を最大限に引き出す新しいアダプター チューニング方法として、Mixture of Sparse Adapters (MoSA) を提案します。
まず標準アダプタを複数の重複しないモジュールに分割し、次にスパース トレーニング用にモジュールを確率的にアクティブ化し、最後に調整後にそれらをマージして完全なアダプタを形成します。
このようにして、MoSA は追加の計算やストレージのオーバーヘッドを発生させることなく、標準アダプタよりも大幅に優れたパフォーマンスを実現できます。
さらに、限られたトレーニング データをより効果的に活用するための階層的スパース戦略を提案します。
一連の 27 の視覚タスクに関する広範な実験により、MoSA が他のアダプター チューニング手法や他のベースラインを大幅に上回るパフォーマンスを一貫して示していることが実証されました。
さらに、低リソースでマルチタスク設定の 2 つの困難なシナリオで、MoSA は満足のいく結果を達成し、設計の有効性をさらに実証しました。
私たちのコードが公開されます。

要約(オリジナル)

With the rapid growth in the scale of pre-trained foundation models, parameter-efficient fine-tuning techniques have gained significant attention, among which Adapter Tuning is the most widely used. Despite achieving efficiency, Adapter Tuning still underperforms full fine-tuning, and the performance improves at the cost of an increase in parameters. Recent efforts address this issue by pruning the original adapters, but it also introduces training instability and suboptimal performance on certain datasets. Motivated by this, we propose Mixture of Sparse Adapters, or MoSA, as a novel Adapter Tuning method to fully unleash the potential of each parameter in the adapter. We first split the standard adapter into multiple non-overlapping modules, then stochastically activate modules for sparse training, and finally merge them to form a complete adapter after tuning. In this way, MoSA can achieve significantly better performance than standard adapters without any additional computational or storage overhead. Furthermore, we propose a hierarchical sparse strategy to better leverage limited training data. Extensive experiments on a series of 27 visual tasks demonstrate that MoSA consistently outperforms other Adapter Tuning methods as well as other baselines by a significant margin. Furthermore, in two challenging scenarios with low-resource and multi-task settings, MoSA achieves satisfactory results, further demonstrating the effectiveness of our design. Our code will be released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google