DFPE: A Diverse Fingerprint Ensemble for Enhancing LLM Performance

要約

大規模な言語モデル（LLM）は、さまざまな自然言語処理タスクで顕著な機能を示していますが、多様または複雑なドメインで均一に優れていることに苦労しています。
新しいアンサンブルメソッド – 多様な指紋アンサンブル（DFPE）を提案します。これは、複数のLLMの補完的な強度を活用して、より堅牢なパフォーマンスを実現します。
（1）応答「指紋」パターンに基づいたクラスタリングモデル、（2）被験者ごとのレベルでパフォーマンスの低いモデルを削除するための分位ベースのフィルタリングメカニズムを適用し、（3）に基づいて残りのモデルに適応ウェイトを割り当てる
彼らの件名ごとの検証精度。
大規模なマルチタスク言語理解（MMLU）ベンチマークに関する実験では、DFPEは最高の単一モデルを3％全体の精度と5％の規律レベルの精度よりも優れています。
この方法により、LLMSの堅牢性と一般化が向上し、モデルの選択、多様性の保存、およびパフォーマンス駆動型の重みが挑戦的で多面的な言語理解タスクに効果的に対処できる方法を強調しています。

要約(オリジナル)

Large Language Models (LLMs) have shown remarkable capabilities across various natural language processing tasks but often struggle to excel uniformly in diverse or complex domains. We propose a novel ensemble method – Diverse Fingerprint Ensemble (DFPE), which leverages the complementary strengths of multiple LLMs to achieve more robust performance. Our approach involves: (1) clustering models based on response ‘fingerprints’ patterns, (2) applying a quantile-based filtering mechanism to remove underperforming models at a per-subject level, and (3) assigning adaptive weights to remaining models based on their subject-wise validation accuracy. In experiments on the Massive Multitask Language Understanding (MMLU) benchmark, DFPE outperforms the best single model by 3% overall accuracy and 5% in discipline-level accuracy. This method increases the robustness and generalization of LLMs and underscores how model selection, diversity preservation, and performance-driven weighting can effectively address challenging, multi-faceted language understanding tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google