Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities

要約

モデルのマージは、機械学習コミュニティにおける効率的なエンパワーメント手法であり、生のトレーニング データの収集や高価な計算を必要としません。
モデルのマージはさまざまな分野でますます普及しているため、利用可能なモデルのマージ手法を包括的に理解することが重要です。
しかし、これらの技術の体系的かつ徹底的なレビューに関しては、文献に大きなギャップがあります。
この調査は、モデルを結合する方法と理論、さまざまな領域や設定におけるそれらの応用、および将来の研究の方向性の包括的な概要を提供します。
具体的には、まず既存のモデル結合方法を徹底的に議論する新しい分類学的アプローチを提案します。
次に、大規模言語モデル、マルチモーダル大規模言語モデル、および継続学習、マルチタスク学習、少数ショット学習などを含む 10 以上の機械学習サブフィールドにおけるモデル結合手法の適用について説明します。最後に、残りの課題を強調します。
モデルの統合について検討し、今後の研究の方向性について議論します。
モデルのマージに関する論文の包括的なリストは、\url{https://github.com/EnnengYang/Awesome-Model-Merging-Methods-Theories-Applications} で入手できます。

要約(オリジナル)

Model merging is an efficient empowerment technique in the machine learning community that does not require the collection of raw training data and does not require expensive computation. As model merging becomes increasingly prevalent across various fields, it is crucial to understand the available model merging techniques comprehensively. However, there is a significant gap in the literature regarding a systematic and thorough review of these techniques. This survey provides a comprehensive overview of model merging methods and theories, their applications in various domains and settings, and future research directions. Specifically, we first propose a new taxonomic approach that exhaustively discusses existing model merging methods. Secondly, we discuss the application of model merging techniques in large language models, multimodal large language models, and 10+ machine learning subfields, including continual learning, multi-task learning, few-shot learning, etc. Finally, we highlight the remaining challenges of model merging and discuss future research directions. A comprehensive list of papers about model merging is available at \url{https://github.com/EnnengYang/Awesome-Model-Merging-Methods-Theories-Applications}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google