Ensemble Bayesian Inference: Leveraging Small Language Models to Achieve LLM-level Accuracy in Profile Matching Tasks

要約

この研究では、独自の大手言語モデル（LLM）に匹敵する精度を実現するための小言語モデル（SLM）アンサンブルの可能性を調査します。
アンサンブルベイジアン推論（EBI）を提案します。これは、複数のSLMからの判断を組み合わせてベイジアン推定を適用し、個々のモデルのパフォーマンス制限を超えることができる新しいアプローチです。
多様なタスクに関する実験（日本と英語の両方での適性評価と消費者プロファイル分析）は、EBIの有効性を示しています。
特に、ネガティブリフト値を持つモデルをアンサンブルに組み込むことにより、全体的なパフォーマンスが向上するケースを分析し、さまざまな言語での方法の有効性を調べます。
これらの調査結果は、限られた計算リソースを備えた高性能AIシステムを構築し、個別に低いパフォーマンスを持つモデルを効果的に利用するための新しい可能性を示唆しています。
LLMパフォーマンス評価、アンサンブル方法、およびオープンソースLLM利用に関する既存の研究に基づいて、アプローチの斬新さと重要性について説明します。

要約(オリジナル)

This study explores the potential of small language model(SLM) ensembles to achieve accuracy comparable to proprietary large language models (LLMs). We propose Ensemble Bayesian Inference (EBI), a novel approach that applies Bayesian estimation to combine judgments from multiple SLMs, allowing them to exceed the performance limitations of individual models. Our experiments on diverse tasks(aptitude assessments and consumer profile analysis in both Japanese and English) demonstrate EBI’s effectiveness. Notably, we analyze cases where incorporating models with negative Lift values into ensembles improves overall performance, and we examine the method’s efficacy across different languages. These findings suggest new possibilities for constructing high-performance AI systems with limited computational resources and for effectively utilizing models with individually lower performance. Building on existing research on LLM performance evaluation, ensemble methods, and open-source LLM utilization, we discuss the novelty and significance of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google