Confabulation: The Surprising Value of Large Language Model Hallucinations

要約

この論文は、大規模言語モデル (LLM) の幻覚または「作話」を、断定的に否定的な落とし穴ではなく、潜在的なリソースとして体系的に防御する方法を示しています。
作話には本質的に問題があり、AI研究によってこの欠陥は解消されるべきだというのが標準的な見解だ。
この論文では、LLM 作文の測定可能な意味論的特徴が、意味形成とコミュニケーションのための認知リソースとして物語性の向上を利用する人間の傾向を反映していることを主張し、経験的に実証します。
言い換えれば、潜在的な価値を持っているということです。
具体的には、一般的な幻覚ベンチマークを分析し、幻覚出力が真実の出力と比較して物語性と意味論的一貫性のレベルが向上していることを明らかにします。
この発見は、作話に対する私たちの通常は否定的な理解に緊張があることを明らかにしています。
これは、直観に反して、LLM が作話する傾向が、一貫した物語テキストを生成する積極的な能力と密接に関連している可能性があることを示唆しています。

要約(オリジナル)

This paper presents a systematic defense of large language model (LLM) hallucinations or ‘confabulations’ as a potential resource instead of a categorically negative pitfall. The standard view is that confabulations are inherently problematic and AI research should eliminate this flaw. In this paper, we argue and empirically demonstrate that measurable semantic characteristics of LLM confabulations mirror a human propensity to utilize increased narrativity as a cognitive resource for sense-making and communication. In other words, it has potential value. Specifically, we analyze popular hallucination benchmarks and reveal that hallucinated outputs display increased levels of narrativity and semantic coherence relative to veridical outputs. This finding reveals a tension in our usually dismissive understandings of confabulation. It suggests, counter-intuitively, that the tendency for LLMs to confabulate may be intimately associated with a positive capacity for coherent narrative-text generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google