Bridging the Gap between Different Vocabularies for LLM Ensemble

要約

さまざまな大規模言語モデル (LLM) をアンサンブルして、相互補完的な可能性を解き放ち、それぞれの強みを活用することは非常に価値があります。
それにもかかわらず、さまざまな LLM 間の語彙の相違により、これまでの研究では、完全に生成された出力を選択または混合するしかありませんでした。
この制限により、生成プロセス中の出力の動的な修正と強化が妨げられ、効果的なアンサンブルの容量が制限されてしまいます。
この問題に対処するために、Vocabulary Alignment (EVA) を介して Ensemble LLM を作成する新しい方法を提案します。
EVA は、さまざまな LLM 間の語彙のギャップを埋め、各生成ステップでの綿密なアンサンブルを可能にします。
具体的には、まず、重複するトークンを利用して、異なる LLM の語彙間のマッピングを学習します。
その後、これらのマッピングを使用して LLM の出力分布を統一空間に投影し、きめの細かいアンサンブルを容易にします。
最後に、不正なトークンを生成するモデルを除外するフィルタリング戦略を設計します。
常識的推論、算術推論、機械翻訳、およびデータからテキストへの生成タスクに関する実験結果は、個別の LLM や完全な出力に対して実行された以前のアンサンブル手法と比較して、私たちのアプローチの優位性を示しています。
さらなる分析により、私たちのアプローチがさまざまな言語モデルからの知識を活用し、一貫した改善をもたらすことができることが確認されました。

要約(オリジナル)

Ensembling different large language models (LLMs) to unleash their complementary potential and harness their individual strengths is highly valuable. Nevertheless, vocabulary discrepancies among various LLMs have constrained previous studies to either selecting or blending completely generated outputs. This limitation hinders the dynamic correction and enhancement of outputs during the generation process, resulting in a limited capacity for effective ensemble. To address this issue, we propose a novel method to Ensemble LLMs via Vocabulary Alignment (EVA). EVA bridges the lexical gap among various LLMs, enabling meticulous ensemble at each generation step. Specifically, we first learn mappings between the vocabularies of different LLMs with the assistance of overlapping tokens. Subsequently, these mappings are employed to project output distributions of LLMs into a unified space, facilitating a fine-grained ensemble. Finally, we design a filtering strategy to exclude models that generate unfaithful tokens. Experimental results on commonsense reasoning, arithmetic reasoning, machine translation, and data-to-text generation tasks demonstrate the superiority of our approach compared with individual LLMs and previous ensemble methods conducted on complete outputs. Further analyses confirm that our approach can leverage knowledge from different language models and yield consistent improvement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google