Model merging with SVD to tie the Knots

要約

最近のモデル結合手法は、個別のタスクに特化した完全に微調整されたモデルのパラメーターを、再トレーニングせずにすべてのタスクを解決できる 1 つのモデルに結合できることを実証しています。
しかし、この成功は、LoRA の微調整されたモデルを結合する場合にはうまく伝わりません。
私たちはこの現象を研究し、LoRA 微調整モデルの重みが完全に微調整されたモデルと比較して整合度が低いことを観察しました。
私たちは、この調整を改善することが、より良い LoRA モデルのマージを実現するための鍵であると仮説を立て、この問題に対処する KnOTS を提案します。
KnOTS は SVD を使用して、さまざまな LoRA モデルの重みを整列された空間に共同変換し、既存の結合方法を適用できます。
さらに、マージされたモデルが一般的なモデルであるかどうかを明示的に評価する新しいベンチマークを導入します。
特に、KnOTS は、新しい設定を含むいくつかの視覚および言語ベンチマークにわたって LoRA マージを最大 4.3% 向上させています。
コードは https://github.com/gstoica27/KnOTS でリリースされています。

要約(オリジナル)

Recent model merging methods demonstrate that the parameters of fully-finetuned models specializing in distinct tasks can be combined into one model capable of solving all tasks without retraining. Yet, this success does not transfer well when merging LoRA finetuned models. We study this phenomenon and observe that the weights of LoRA finetuned models showcase a lower degree of alignment compared to their fully-finetuned counterparts. We hypothesize that improving this alignment is key to obtaining better LoRA model merges, and propose KnOTS to address this problem. KnOTS uses the SVD to jointly transform the weights of different LoRA models into an aligned space, where existing merging methods can be applied. In addition, we introduce a new benchmark that explicitly evaluates whether merged models are general models. Notably, KnOTS consistently improves LoRA merging by up to 4.3% across several vision and language benchmarks, including our new setting. We release our code at: https://github.com/gstoica27/KnOTS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google