On the attribution of confidence to large language models

要約

信用度は、命題に対する信頼度に対応する精神状態です。
大規模言語モデル (LLM) に対する信頼度の帰属は、LLM 評価に関する実証文献では一般的です。
しかし、LLM 信用帰属の理論的根拠は不明です。
私たちは 3 つの主張を擁護します。
まず、私たちの意味論的な主張は、LLM 信頼性の帰属は、LLM 信頼性に関する事実を記述すると主張する科学者の側の真実に適した信念を表現するものとして、(少なくとも一般的には) 文字通りに正しく解釈されるということです。
第二に、我々の形而上学的な主張は、現在の証拠は決定的ではないものの、LLM 信認の存在は少なくとももっともらしいということです。
第三に、我々の認識論的主張は、LLM 評価に関する経験的文献でなされた LLM 信憑性の帰属は、重大な懐疑的な懸念にさらされているということです。
LLM の信頼性を評価するために使用される実験手法が真実追跡ではないため、LLM に信頼性がある場合でも、LLM 信頼性の帰属が一般に誤りである可能性は明らかです。

要約(オリジナル)

Credences are mental states corresponding to degrees of confidence in propositions. Attribution of credences to Large Language Models (LLMs) is commonplace in the empirical literature on LLM evaluation. Yet the theoretical basis for LLM credence attribution is unclear. We defend three claims. First, our semantic claim is that LLM credence attributions are (at least in general) correctly interpreted literally, as expressing truth-apt beliefs on the part of scientists that purport to describe facts about LLM credences. Second, our metaphysical claim is that the existence of LLM credences is at least plausible, although current evidence is inconclusive. Third, our epistemic claim is that LLM credence attributions made in the empirical literature on LLM evaluation are subject to non-trivial sceptical concerns. It is a distinct possibility that even if LLMs have credences, LLM credence attributions are generally false because the experimental techniques used to assess LLM credences are not truth-tracking.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google