Look Before You Leap: An Exploratory Study of Uncertainty Measurement for Large Language Models

要約

最近の大規模言語モデル (LLM) のパフォーマンスの飛躍的な進歩により、多数の産業用アプリケーションやドメインにわたって新たな機会が開かれています。
しかし、LLM による誤った予測、誤った情報、幻覚などの誤った生成は、特に安全性、セキュリティ、信頼性が重視されるシナリオにおいて、LLM の信頼性に対する深刻な懸念も引き起こしており、現実世界での導入を妨げる可能性があります。
不確実性推定は、一般的な機械学習 (ML) モデルによって行われる予測リスクを解釈する可能性を示していますが、LLM の機能を探索し、望ましくない動作に対抗するのにそれが役立つかどうか、またどの程度役立つかについてはほとんどわかっていません。
このギャップを埋めるために、この論文では、不確実性のレンズから LLM のリスク評価に関する探索的研究を開始します。
特に、4 つの著名な自然言語処理 (NLP) タスクに対して 12 の不確実性推定手法と 4 つの LLM を実験し、不確実性推定手法が LLM の予測リスクの特徴付けにどの程度役立つかを調査します。
私たちの調査結果は、LLMの不確実性/非事実予測を明らかにするための不確実性推定の有効性を検証します。
一般的な NLP タスクに加えて、2 つのデータセットでのコード生成のために 4 つの LLM を使用した実験を広範囲に実施しています。
不確実性の推定により、LLM によって生成されたバグのあるプログラムを発見できる可能性があることがわかりました。
私たちの研究からの洞察は、信頼性の高い LLM の将来の設計と開発に光を当て、LLM の信頼性を高めるためのさらなる研究を促進します。

要約(オリジナル)

The recent performance leap of Large Language Models (LLMs) opens up new opportunities across numerous industrial applications and domains. However, erroneous generations, such as false predictions, misinformation, and hallucination made by LLMs, have also raised severe concerns for the trustworthiness of LLMs’, especially in safety-, security- and reliability-sensitive scenarios, potentially hindering real-world adoptions. While uncertainty estimation has shown its potential for interpreting the prediction risks made by general machine learning (ML) models, little is known about whether and to what extent it can help explore an LLM’s capabilities and counteract its undesired behavior. To bridge the gap, in this paper, we initiate an exploratory study on the risk assessment of LLMs from the lens of uncertainty. In particular, we experiment with twelve uncertainty estimation methods and four LLMs on four prominent natural language processing (NLP) tasks to investigate to what extent uncertainty estimation techniques could help characterize the prediction risks of LLMs. Our findings validate the effectiveness of uncertainty estimation for revealing LLMs’ uncertain/non-factual predictions. In addition to general NLP tasks, we extensively conduct experiments with four LLMs for code generation on two datasets. We find that uncertainty estimation can potentially uncover buggy programs generated by LLMs. Insights from our study shed light on future design and development for reliable LLMs, facilitating further research toward enhancing the trustworthiness of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google