InfiFusion: A Unified Framework for Enhanced Cross-Model Reasoning via LLM Fusion

要約

大規模言語モデル (LLM) は、さまざまな推論タスクにわたって強力なパフォーマンスを実証していますが、すべてのドメインにわたって一貫して優れた単一モデルを構築することは依然として困難です。
この論文では、複数のドメインに特化したモデルを効率的なピボット モデルに統合する戦略を検討することで、この問題に対処します。複数の LLM の長所を組み合わせるために、2 つの融合戦略を提案します。 (1) 各ソースを順次蒸留するペアごとの多段階の融合アプローチ
モデルをピボット モデルに変換した後、重みを結合するステップを実行して、抽出されたモデルを最終モデルに統合します。
この方法では優れたパフォーマンスが得られますが、かなりのトレーニング努力が必要です。
(2) すべてのソース モデルの出力を同時に集約する統合融合アプローチ。融合プロセスを改善するために、柔軟性を高めるためにパラメーターのマージ中に上位 K 比率を動的に調整する新しいレート歪度適応融合 (RSAF) 手法を導入します。
さらに、ソースモデルの寄与を動的にバランスさせ、他のロジット/分布アンサンブルよりも優れたパフォーマンスを発揮する、統合アプローチのための不確実性ベースの重み付け方法を提案します。
GSM8K、MATH、HumanEval タスクでそれぞれ 9.27%、8.80%、8.89% の精度向上を達成しました。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated strong performance across various reasoning tasks, yet building a single model that consistently excels across all domains remains challenging. This paper addresses this problem by exploring strategies to integrate multiple domain-specialized models into an efficient pivot model.We propose two fusion strategies to combine the strengths of multiple LLMs: (1) a pairwise, multi-step fusion approach that sequentially distills each source model into the pivot model, followed by a weight merging step to integrate the distilled models into the final model. This method achieves strong performance but requires substantial training effort; and (2) a unified fusion approach that aggregates all source models’ outputs simultaneously.To improve the fusion process, we introduce a novel Rate-Skewness Adaptive Fusion (RSAF) technique, which dynamically adjusts top-K ratios during parameter merging for enhanced flexibility and stability.Furthermore, we propose an uncertainty-based weighting method for the unified approach, which dynamically balances the contributions of source models and outperforms other logits/distribution ensemble methods.We achieved accuracy improvements of 9.27%, 8.80%, and 8.89% on the GSM8K, MATH, and HumanEval tasks, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google