LM-Cocktail: Resilient Tuning of Language Models via Model Merging

要約

事前トレーニングされた言語モデルは、ダウンストリーム アプリケーションのサポートを向上させるために継続的に微調整されます。
ただし、この操作により、対象のドメインを超えた一般的なタスクでパフォーマンスが大幅に低下する可能性があります。
この問題を克服するために、私たちは、微調整されたモデルが一般的な観点から回復力を維持できるようにする LM-Cocktail を提案します。
私たちの方法はモデルマージの形式で実行され、微調整された言語モデルが事前トレーニングされたベースモデルまたは他のドメインのピアモデルと加重平均を通じてマージされます。
シンプルさにもかかわらず、LM-Cocktail は驚くほど効果的です。結果として得られるモデルは、対象領域で優れた能力を維持しながら、一般的なタスクの範囲全体で強力な経験的パフォーマンスを達成できます。
私たちは、FLAN、MMLU、MTEB などの一般的なベンチマークで LLama および BGE モデルを使用した包括的な実験を実施し、その結果によって提案手法の有効性が検証されます。
コードとチェックポイントは、https://github.com/FlagOpen/FlagEmbedding/tree/master/LM_Cocktail で入手できます。

要約(オリジナル)

The pre-trained language models are continually fine-tuned to better support downstream applications. However, this operation may result in significant performance degeneration on general tasks beyond the targeted domain. To overcome this problem, we propose LM-Cocktail which enables the fine-tuned model to stay resilient in general perspectives. Our method is conducted in the form of model merging, where the fine-tuned language model is merged with the pre-trained base model or the peer models from other domains through weighted average. Despite simplicity, LM-Cocktail is surprisingly effective: the resulted model is able to achieve a strong empirical performance in the whole scope of general tasks while preserving a superior capacity in its targeted domain. We conduct comprehensive experiments with LLama and BGE model on popular benchmarks, including FLAN, MMLU, MTEB, whose results validate the efficacy of our proposed method. The code and checkpoints are available at https://github.com/FlagOpen/FlagEmbedding/tree/master/LM_Cocktail.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google