ProFuser: Progressive Fusion of Large Language Models

要約

さまざまな大規模言語モデル (LLM) の能力と利点を融合することで、より強力で汎用性の高いモデルを構築する道が提供されますが、基本的な課題は、トレーニング中に有利なモデルを適切に選択することです。
既存の融合手法は主に、教師強制セットアップでグラウンド トゥルースのクロス エントロピーを使用してモデルの利点を測定するトレーニング モードに焦点を当てており、モデルの利点についての洞察が限定的である可能性があります。
この論文では、トレーニング モードと推論モードの両方を組み込むことで融合プロセスを強化する新しいアプローチを紹介します。
私たちの方法では、トレーニング中のクロスエントロピーだけでなく、推論出力を考慮することによってモデルの利点を評価し、より包括的な評価を提供します。
2 つのモードを効果的に組み合わせるために、推論モードからトレーニング モードに段階的に移行する ProFuser を導入します。
ProFuser の有効性を検証するために、vicuna-7b-v1.5、Llama-2-7b-chat、mpt-7b-8k-chat を含む 3 つのモデルを融合し、ProFuser と比較して知識、推論、安全性のパフォーマンスが向上していることを実証しました。
ベースラインメソッド。

要約(オリジナル)

While fusing the capacities and advantages of various large language models (LLMs) offers a pathway to construct more powerful and versatile models, a fundamental challenge is to properly select advantageous model during the training. Existing fusion methods primarily focus on the training mode that uses cross entropy on ground truth in a teacher-forcing setup to measure a model’s advantage, which may provide limited insight towards model advantage. In this paper, we introduce a novel approach that enhances the fusion process by incorporating both the training and inference modes. Our method evaluates model advantage not only through cross entropy during training but also by considering inference outputs, providing a more comprehensive assessment. To combine the two modes effectively, we introduce ProFuser to progressively transition from inference mode to training mode. To validate ProFuser’s effectiveness, we fused three models, including vicuna-7b-v1.5, Llama-2-7b-chat, and mpt-7b-8k-chat, and demonstrated the improved performance in knowledge, reasoning, and safety compared to baseline methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google