Benchmarking Uncertainty Quantification Methods for Large Language Models with LM-Polygraph

要約

大規模言語モデル (LLM) の急速な普及により、研究者は LLM 幻覚や低品質の出力に対処するための効果的かつ効率的なアプローチを模索するようになりました。
不確実性の定量化 (UQ) は、このような課題に対処する機械学習アプリケーションの重要な要素です。
しかし、LLM に対する UQ に関するこれまでの研究は、技術や評価方法論の点で断片化されています。
この研究では、最先端の UQ ベースラインのコレクションを実装し、さまざまなテキスト生成タスクにわたって新しい UQ テクニックを制御可能かつ一貫して評価するための環境を提供する新しいベンチマークを導入することで、この問題に対処します。
私たちのベンチマークは、解釈可能なスコアを提供する能力という観点から、信頼性正規化手法の評価もサポートしています。
ベンチマークを使用して、11 のタスクにわたる UQ と正規化手法の大規模な実証調査を実施し、最も効果的なアプローチを特定します。
コード: https://github.com/IINemo/lm-polygraph ベンチマーク: https://huggingface.co/LM-Polygraph

要約(オリジナル)

The rapid proliferation of large language models (LLMs) has stimulated researchers to seek effective and efficient approaches to deal with LLM hallucinations and low-quality outputs. Uncertainty quantification (UQ) is a key element of machine learning applications in dealing with such challenges. However, research to date on UQ for LLMs has been fragmented in terms of techniques and evaluation methodologies. In this work, we address this issue by introducing a novel benchmark that implements a collection of state-of-the-art UQ baselines and offers an environment for controllable and consistent evaluation of novel UQ techniques over various text generation tasks. Our benchmark also supports the assessment of confidence normalization methods in terms of their ability to provide interpretable scores. Using our benchmark, we conduct a large-scale empirical investigation of UQ and normalization techniques across eleven tasks, identifying the most effective approaches. Code: https://github.com/IINemo/lm-polygraph Benchmark: https://huggingface.co/LM-Polygraph

arxiv情報

提供元, 利用サービス

arxiv.jp, Google