The Non-Local Model Merging Problem: Permutation Symmetries and Variance Collapse

要約

モデルの結合は、それぞれが特定のタスクでトレーニングされた複数のエキスパート モデルの重みを効率的に結合して、すべてのタスクにわたって強力なパフォーマンスを発揮する単一のマルチタスク モデルにすることを目的としています。
最後の重み層を除くすべての重み層に適用すると、タスク演算、TIES マージ、TALL マスク マージなどの既存の手法がうまく機能し、共通の基礎モデルを微調整して得られたエキスパート モデルを組み合わせ、「 」内で動作します。
基礎モデルの「ローカル」近傍。
この研究では、「非ローカル」マージというより困難なシナリオを検討しています。これは、エキスパート モデルが事前トレーニング中に大幅に変更された場合、またはエキスパート モデルが共通の基盤モデルを共有していない場合に発生することがわかりました。
標準的なマージ手法は、標準的な手法を使用して置換対称性を考慮する場合でも、この非局所的な設定では効果的に一般化できないことが多いことが観察されています。
我々は、この失敗の一部は「分散崩壊」によるものであることを特定しました。この現象は、Jordan らによって線形モード接続の設定でも確認された現象です。
（2023年）。
これに対処するために、各タスクのマージされたモデルの出力アクティベーションを再スケーリングしてシフトし、その出力統計を対応するタスク固有のエキスパート モデルの出力統計と一致させるマルチタスク手法を提案します。
私たちの実験では、この修正により、非ローカル設定におけるさまざまなモデル結合アプローチのパフォーマンスが大幅に向上し、この問題に関する将来の研究のための強力なベースラインが提供されることが実証されました。

要約(オリジナル)

Model merging aims to efficiently combine the weights of multiple expert models, each trained on a specific task, into a single multi-task model, with strong performance across all tasks. When applied to all but the last layer of weights, existing methods — such as Task Arithmetic, TIES-merging, and TALL mask merging — work well to combine expert models obtained by fine-tuning a common foundation model, operating within a ‘local’ neighborhood of the foundation model. This work explores the more challenging scenario of ‘non-local’ merging, which we find arises when an expert model changes significantly during pretraining or where the expert models do not even share a common foundation model. We observe that standard merging techniques often fail to generalize effectively in this non-local setting, even when accounting for permutation symmetries using standard techniques. We identify that this failure is, in part, due to ‘variance collapse’, a phenomenon identified also in the setting of linear mode connectivity by Jordan et al. (2023). To address this, we propose a multi-task technique to re-scale and shift the output activations of the merged model for each task, aligning its output statistics with those of the corresponding task-specific expert models. Our experiments demonstrate that this correction significantly improves the performance of various model merging approaches in non-local settings, providing a strong baseline for future research on this problem.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google