Cool-Fusion: Fuse Large Language Models without Training

要約

私たちは、2 つ以上の異種大規模言語モデル (LLM) を融合して、それらの補完的な長所を促進する問題に焦点を当てています。
モデル融合における課題の 1 つは、高い計算負荷、つまり、組み合わせ最適化による語彙の微調整や調整です。
この目的を達成するために、私たちは、異種ソース LLM の知識を融合してそれらの補完的な強みを活用する、シンプルかつ効果的なアプローチである \emph{Cool-Fusion} を提案します。
\emph{Cool-Fusion} は、アンサンブル アプローチのようなトレーニングを必要としない最初のメソッドです。
ただし、アンサンブル手法とは異なり、異なる語彙を持つソース LLM の任意のセットに適用できます。
基本的な考え方は、すべてのソース LLM に共通の単語境界で終わるテキスト セグメントにトークンをデコードできるようになるまで、各ソース LLM に個別にトークンを生成させることです。
次に、ソース LLM が共同で生成されたテキスト セグメントを再ランク付けし、最適なものを選択します。これが 1 ステップでの融合テキスト生成です。
さまざまなベンチマーク データセットにわたって広範な実験が実施されます。
\emph{GSM8K} では、\emph{Cool-Fusion} は 3 つの強力なソース LLM からの精度を 8\%-17.8\% 大幅に向上させます。

要約(オリジナル)

We focus on the problem of fusing two or more heterogeneous large language models (LLMs) to facilitate their complementary strengths. One of the challenges on model fusion is high computational load, i.e. to fine-tune or to align vocabularies via combinatorial optimization. To this end, we propose \emph{Cool-Fusion}, a simple yet effective approach that fuses the knowledge of heterogeneous source LLMs to leverage their complementary strengths. \emph{Cool-Fusion} is the first method that does not require any type of training like the ensemble approaches. But unlike ensemble methods, it is applicable to any set of source LLMs that have different vocabularies. The basic idea is to have each source LLM individually generate tokens until the tokens can be decoded into a text segment that ends at word boundaries common to all source LLMs. Then, the source LLMs jointly rerank the generated text segment and select the best one, which is the fused text generation in one step. Extensive experiments are conducted across a variety of benchmark datasets. On \emph{GSM8K}, \emph{Cool-Fusion} increases accuracy from three strong source LLMs by a significant 8\%-17.8\%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google