LM-Polygraph: Uncertainty Estimation for Language Models

要約

大規模言語モデル (LLM) の機能における最近の進歩により、さまざまな分野で無数の画期的なアプリケーションへの道が開かれました。
ただし、これらのモデルはしばしば「幻覚」を示す、つまり、発言の真実性を識別する明確な手段をユーザーに提供せずに事実を捏造するため、重大な課題が生じます。
不確実性推定 (UE) 方法は、LLM をより安全に、より責任を持って、より効果的に使用するための 1 つの方法です。
ただし、これまで、LLM の UE 手法に関する研究は、工学的な貢献ではなく、主に理論的な貢献に焦点を当ててきました。
この研究では、テキスト生成タスクにおける LLM 用の一連の最先端の UE メソッドを実装したフレームワークであり、Python の統一プログラム インターフェイスを備えた LM-Polygraph を導入することで、この問題に取り組みます。
さらに、研究者による UE 技術の一貫した評価のための拡張可能なベンチマークと、標準のチャット ダイアログを信頼性スコアで強化し、エンドユーザーが信頼性の低い応答を識別できるようにするデモ Web アプリケーションを導入します。
LM-Polygraph は、BLOOMz、LLaMA-2、ChatGPT、GPT-4 などの最新の LLM と互換性があり、同様のスタイルの LM の将来のリリースをサポートするように設計されています。

要約(オリジナル)

Recent advancements in the capabilities of large language models (LLMs) have paved the way for a myriad of groundbreaking applications in various fields. However, a significant challenge arises as these models often ‘hallucinate’, i.e., fabricate facts without providing users an apparent means to discern the veracity of their statements. Uncertainty estimation (UE) methods are one path to safer, more responsible, and more effective use of LLMs. However, to date, research on UE methods for LLMs has been focused primarily on theoretical rather than engineering contributions. In this work, we tackle this issue by introducing LM-Polygraph, a framework with implementations of a battery of state-of-the-art UE methods for LLMs in text generation tasks, with unified program interfaces in Python. Additionally, it introduces an extendable benchmark for consistent evaluation of UE techniques by researchers, and a demo web application that enriches the standard chat dialog with confidence scores, empowering end-users to discern unreliable responses. LM-Polygraph is compatible with the most recent LLMs, including BLOOMz, LLaMA-2, ChatGPT, and GPT-4, and is designed to support future releases of similarly-styled LMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google