Gauging Overprecision in LLMs: An Empirical Study

要約

最近、大規模な言語モデル（LLMS）の自信過剰は、LLM世代の信頼性を定量化する際の根本的な重要性のために、かなりの注目を集めています。
ただし、既存のアプローチでは、\ textit {ブラックボックスLLMS}に自信（\ textit {verbalized conestion}）を生み出すように促します。
\ textit {overprecision}と呼ばれる認知科学の自信過剰の異なる側面に触発され、ブラックボックスLLMSでの研究のためのフレームワークを設計しました。
このフレームワークには、3つの主要なフェーズが含まれています。1）生成、2）洗練、3）評価。
生成段階では、LLMに、ある程度の信頼性を持つ間隔の形で数値の質問に対する回答を生成するよう促します。
この信頼レベルはプロンプトに課されており、LLMが以前のアプローチと同様に生成する必要はありません。
さまざまなプロンプト技術を使用し、同じプロンプトを複数回使用して、生成プロセスにおけるランダム性の影響を評価します。
改良段階では、前の段階からの回答が改良され、より良い答えが生成されます。
LLMの回答は、評価段階で評価および研究され、その内部作業を理解します。
この研究により、LLMの過剰受容に関するさまざまな洞察を得ることができました：1）LLMは数値タスクのために非常に非調整されています。
{\ color {blue} 3）} llm数値精度は、タスク、回答のスケール、およびプロンプトテクニック{\ color {blue} 4）回答の改良は、ほとんどの場合精度を改善しません}。
この研究は、LLMの過度の自信に関する新しい視点を提供し、LLMの過剰予測の強力なベースラインとして機能すると考えています。

要約(オリジナル)

Recently, overconfidence in large language models (LLMs) has garnered considerable attention due to its fundamental importance in quantifying the trustworthiness of LLM generation. However, existing approaches prompt the \textit{black box LLMs} to produce their confidence (\textit{verbalized confidence}), which can be subject to many biases and hallucinations. Inspired by a different aspect of overconfidence in cognitive science called \textit{overprecision}, we designed a framework for its study in black box LLMs. This framework contains three main phases: 1) generation, 2) refinement and 3) evaluation. In the generation phase we prompt the LLM to generate answers to numerical questions in the form of intervals with a certain level of confidence. This confidence level is imposed in the prompt and not required for the LLM to generate as in previous approaches. We use various prompting techniques and use the same prompt multiple times to gauge the effects of randomness in the generation process. In the refinement phase, answers from the previous phase are refined to generate better answers. The LLM answers are evaluated and studied in the evaluation phase to understand its internal workings. This study allowed us to gain various insights into LLM overprecision: 1) LLMs are highly uncalibrated for numerical tasks 2) {\color{blue}there is no correlation between the length of the interval and the imposed confidence level, which can be symptomatic of a a) lack of understanding of the concept of confidence or b) inability to adjust self-confidence by following instructions}, {\color{blue}3)} LLM numerical precision differs depending on the task, scale of answer and prompting technique {\color{blue}4) Refinement of answers doesn’t improve precision in most cases}. We believe this study offers new perspectives on LLM overconfidence and serves as a strong baseline for overprecision in LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google