A Simple Ensemble Strategy for LLM Inference: Towards More Stable Text Classification

要約

大規模な言語モデル（LLMS）の進歩により、LLMはさまざまなタスクに利用されています。
ただし、LLMの各試験からの結果の変動と再現性の問題は、既存の文献ではほとんど見落とされていますが、実際の人間の注釈は多数票を使用して注釈者間の意見の相違を解決します。
したがって、この研究では、LLMSを使用した感情分析に簡単なアンサンブル戦略を紹介します。
結果として、中規模のLLMを使用した複数の推論のアンサンブルは、RMSEを18.6％削減する単一の試行で大規模なモデルを使用するよりも、より堅牢で正確な結果を生成することを実証します。

要約(オリジナル)

With the advance of large language models (LLMs), LLMs have been utilized for the various tasks. However, the issues of variability and reproducibility of results from each trial of LLMs have been largely overlooked in existing literature while actual human annotation uses majority voting to resolve disagreements among annotators. Therefore, this study introduces the straightforward ensemble strategy to a sentiment analysis using LLMs. As the results, we demonstrate that the ensemble of multiple inference using medium-sized LLMs produces more robust and accurate results than using a large model with a single attempt with reducing RMSE by 18.6%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google