Model Merging and Safety Alignment: One Bad Model Spoils the Bunch

要約

大規模言語モデル (LLM) のマージは、元の LLM の専門知識を保持しながら、複数のエキスパート LLM を 1 つの汎用モデルに結合するためのコスト効率の高い手法です。
しかし、現在のアプローチでは、マージ中の安全な位置合わせの重要性が見落とされることが多く、モデルの位置が大きくずれてしまいます。
この研究では、モデルの結合が位置合わせに及ぼす影響を調査します。
私たちは、いくつかの一般的なモデル結合手法を評価し、既存の手法がドメインの専門知識を伝達するだけでなく、不整合を伝播することを実証します。
我々は、この問題に対処するための単純な 2 段階のアプローチを提案します。(i) 合成安全性データとドメイン固有のデータを生成すること、(ii) これらの生成されたデータを既存のデータ認識モデル結合技術の最適化プロセスに組み込むことです。
これにより、調整を、結果として得られるマージされた LLM で最大限に活用できるスキルとして扱うことができます。
私たちの実験は、マージ中に位置合わせ関連データを統合することの有効性を示しており、その結果、ドメインの専門知識と位置合わせの両方で優れたモデルが得られます。

要約(オリジナル)

Merging Large Language Models (LLMs) is a cost-effective technique for combining multiple expert LLMs into a single versatile model, retaining the expertise of the original ones. However, current approaches often overlook the importance of safety alignment during merging, leading to highly misaligned models. This work investigates the effects of model merging on alignment. We evaluate several popular model merging techniques, demonstrating that existing methods do not only transfer domain expertise but also propagate misalignment. We propose a simple two-step approach to address this problem: (i) generating synthetic safety and domain-specific data, and (ii) incorporating these generated data into the optimization process of existing data-aware model merging techniques. This allows us to treat alignment as a skill that can be maximized in the resulting merged LLM. Our experiments illustrate the effectiveness of integrating alignment-related data during merging, resulting in models that excel in both domain expertise and alignment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google