LLMs Will Always Hallucinate, and We Need to Live With This

要約

大規模言語モデルがドメイン全体でより普及するにつれて、その固有の制限を批判的に検討することが重要になります。
この研究は、言語モデルにおける幻覚は単なる偶発的なエラーではなく、これらのシステムの避けられない特徴であると主張しています。
私たちは、幻覚が LLM の基本的な数学的および論理的構造に由来することを実証します。
したがって、アーキテクチャの改善、データセットの強化、またはファクトチェックメカニズムによってそれらを排除することは不可能です。
私たちの分析は、計算理論と、停止問題、空虚問題、受け入れ問題などの問題の決定不可能性を参照するゲーデルの第一不完全性定理に基づいています。
私たちは、トレーニング データの編集からファクトの取得、意図の分類、テキストの生成に至る LLM プロセスのすべての段階で、幻覚が発生する確率がゼロではないことを実証します。
この作品では、これらのシステムの本質的な性質として構造的幻覚の概念を導入しています。
幻覚の数学的確実性を確立することで、幻覚は完全に軽減できるという一般的な概念に疑問を呈します。

要約(オリジナル)

As Large Language Models become more ubiquitous across domains, it becomes important to examine their inherent limitations critically. This work argues that hallucinations in language models are not just occasional errors but an inevitable feature of these systems. We demonstrate that hallucinations stem from the fundamental mathematical and logical structure of LLMs. It is, therefore, impossible to eliminate them through architectural improvements, dataset enhancements, or fact-checking mechanisms. Our analysis draws on computational theory and Godel’s First Incompleteness Theorem, which references the undecidability of problems like the Halting, Emptiness, and Acceptance Problems. We demonstrate that every stage of the LLM process-from training data compilation to fact retrieval, intent classification, and text generation-will have a non-zero probability of producing hallucinations. This work introduces the concept of Structural Hallucination as an intrinsic nature of these systems. By establishing the mathematical certainty of hallucinations, we challenge the prevailing notion that they can be fully mitigated.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google