Do LLMs estimate uncertainty well in instruction-following?

要約

大規模言語モデル (LLM) は、ユーザーの指示に正確に従うことができれば、さまざまなドメインにわたる貴重なパーソナル AI エージェントとなる可能性があります。
しかし、最近の研究では、LLM の命令追従能力には大きな限界があることが示されており、一か八かのアプリケーションにおける LLM の信頼性について懸念が生じています。
導入リスクを軽減するには、LLM が指示に従うかどうかの不確実性を正確に見積もることが重要です。
我々は、我々の知る限り、指示に従うという文脈におけるLLMの不確実性推定能力の系統的な評価を初めて提示する。
私たちの研究では、既存の命令追従ベンチマークの主な課題を特定しています。複数の要因が命令追従に起因する不確実性と絡み合っており、手法やモデル間の分離と比較が複雑になっています。
これらの問題に対処するために、2 つのベンチマーク バージョンのデータを使用した制御された評価セットアップを導入し、さまざまな条件下での不確実性推定方法の包括的な比較を可能にします。
私たちの調査結果は、特にモデルが命令に従う際に微妙なエラーを犯した場合に、既存の不確実性手法が困難であることを示しています。
内部モデルの状態はある程度の改善をもたらしますが、より複雑なシナリオでは依然として不十分です。
制御された評価セットアップからの洞察は、LLM の限界と、指示に従うタスクにおける不確実性推定の可能性についての重要な理解を提供し、より信頼できる AI エージェントへの道を開きます。

要約(オリジナル)

Large language models (LLMs) could be valuable personal AI agents across various domains, provided they can precisely follow user instructions. However, recent studies have shown significant limitations in LLMs’ instruction-following capabilities, raising concerns about their reliability in high-stakes applications. Accurately estimating LLMs’ uncertainty in adhering to instructions is critical to mitigating deployment risks. We present, to our knowledge, the first systematic evaluation of the uncertainty estimation abilities of LLMs in the context of instruction-following. Our study identifies key challenges with existing instruction-following benchmarks, where multiple factors are entangled with uncertainty stems from instruction-following, complicating the isolation and comparison across methods and models. To address these issues, we introduce a controlled evaluation setup with two benchmark versions of data, enabling a comprehensive comparison of uncertainty estimation methods under various conditions. Our findings show that existing uncertainty methods struggle, particularly when models make subtle errors in instruction following. While internal model states provide some improvement, they remain inadequate in more complex scenarios. The insights from our controlled evaluation setups provide a crucial understanding of LLMs’ limitations and potential for uncertainty estimation in instruction-following tasks, paving the way for more trustworthy AI agents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google