Parameter Efficient Merging for Multimodal Large Language Models with Complementary Parameter Adaptation

要約

カスタムデータを使用した事前に訓練されたモデルを微調整すると、特定のタスクに関する多数の専門家モデルが生まれます。
モデルを1つのユニバーサルモデルに統合して、データリークを控えるマルチタスク能力を強化することで人気が高まっています。
データとモデルサイズの拡張により、パラメーター効率的なチューニングがタスク固有のモデルを効率的に取得するための一般的な実践になります。
ただし、完全に微調整するために設計された既存の方法は、効率的なチューニングで失敗することがわかります。
問題に対処するために、低ランクの分解から分析し、方向を維持し、特異値間のギャップを補償することが効率的なモデルマージに不可欠であることを明らかにします。
したがって、トレーニングなしのパラメーター効率的なマージメソッドと補完的なパラメーター適応を提案することを提案します。
具体的には、（1）プルーンパラメーターとパラメーター間の関係からスケーリング係数を構築して、タスク干渉からのパフォーマンスの低下を補償し、（2）目に見えないタスクの一般化を強化するためにクロスタスク正規化を実行します。
多様なマルチモーダルタスクで構成されるベンチマークを確立し、その上で、当社の方法の未解決のパフォーマンスと一般化可能性を証明する実験を実施します。
追加の研究と広範な分析により、有効性がさらに示されています。

要約(オリジナル)

Fine-tuning pre-trained models with custom data leads to numerous expert models on specific tasks. Merging models into one universal model to empower multi-task ability refraining from data leakage has gained popularity. With the expansion in data and model size, parameter efficient tuning becomes the common practice for obtaining task-specific models efficiently. However, we observe that existing methods designed for full fine-tuning merging fail under efficient tuning. To address the issues, we analyze from low-rank decomposition and reveal that maintaining direction and compensating for gap between singular values are crucial for efficient model merging. Consequently, we propose CoPA-Merging, a training-free parameter efficient merging method with complementary parameter adaptation. Specifically, we (1) prune parameters and construct scaling coefficients from inter-parameter relation to compensate for performance drop from task interference and (2) perform cross-task normalization to enhance unseen task generalization. We establish a benchmark consisting of diverse multimodal tasks, on which we conduct experiments to certificate the outstanding performance and generalizability of our method. Additional study and extensive analyses further showcase the effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google