Hallucination is Inevitable: An Innate Limitation of Large Language Models

要約

幻覚は、大規模言語モデル (LLM) にとって重大な欠点であることが広く認識されています。
幻覚の程度を軽減しようとする作品は数多くあります。
これまでのところ、これらの取り組みは主に経験的なものであり、完全に排除できるかどうかという根本的な疑問には答えることができません。
この論文では、問題を形式化し、LLM の幻覚を排除することは不可能であることを示します。
具体的には、幻覚が計算可能な LLM と計算可能なグラウンド トゥルース関数の間の不一致として定義される形式的な世界を定義します。
学習理論の結果を採用することにより、LLM は計算可能な関数のすべてを学習することはできず、したがって常に幻覚を起こすことを示します。
形式的な世界ははるかに複雑な現実世界の一部であるため、現実世界の LLM にとって幻覚も避けられません。
さらに、証明可能な時間計算量によって制約される現実世界の LLM について、幻覚が起こりやすいタスクを記述し、私たちの主張を経験的に検証します。
最後に、正式な世界の枠組みを使用して、既存の幻覚軽減剤の考えられるメカニズムと有効性、および LLM の安全な展開に対する実際的な影響について議論します。

要約(オリジナル)

Hallucination has been widely recognized to be a significant drawback for large language models (LLMs). There have been many works that attempt to reduce the extent of hallucination. These efforts have mostly been empirical so far, which cannot answer the fundamental question whether it can be completely eliminated. In this paper, we formalize the problem and show that it is impossible to eliminate hallucination in LLMs. Specifically, we define a formal world where hallucination is defined as inconsistencies between a computable LLM and a computable ground truth function. By employing results from learning theory, we show that LLMs cannot learn all of the computable functions and will therefore always hallucinate. Since the formal world is a part of the real world which is much more complicated, hallucinations are also inevitable for real world LLMs. Furthermore, for real world LLMs constrained by provable time complexity, we describe the hallucination-prone tasks and empirically validate our claims. Finally, using the formal world framework, we discuss the possible mechanisms and efficacies of existing hallucination mitigators as well as the practical implications on the safe deployment of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google