A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions

要約

大規模言語モデル (LLM) の出現は、自然言語処理 (NLP) における大きな進歩を示し、テキストの理解と生成において目覚ましい進歩をもたらしました。
それにもかかわらず、これらの進歩と並行して、LLM は幻覚を引き起こす重大な傾向を示し、その結果、現実世界の事実やユーザー入力と矛盾するコンテンツが生成されます。
この現象は、LLM の実際の展開に大きな課題をもたらし、現実世界のシナリオにおける LLM の信頼性に対する懸念を引き起こしており、これらの幻覚を検出して軽減するための注目が高まっています。
この調査では、LLM 幻覚の分野における最近の進歩について徹底的かつ詳細な概要を提供することを目的としています。
私たちはLLM幻覚の革新的な分類から始めて、次に幻覚に寄与する要因を掘り下げます。
続いて、幻覚検出方法とベンチマークの包括的な概要を紹介します。
さらに、幻覚を軽減するために設計された代表的なアプローチもそれに応じて紹介されます。
最後に、現在の限界を浮き彫りにする課題を分析し、未解決の質問を定式化して、LLM における幻覚に関する将来の研究への道筋を描くことを目的としています。

要約(オリジナル)

The emergence of large language models (LLMs) has marked a significant breakthrough in natural language processing (NLP), leading to remarkable advancements in text understanding and generation. Nevertheless, alongside these strides, LLMs exhibit a critical tendency to produce hallucinations, resulting in content that is inconsistent with real-world facts or user inputs. This phenomenon poses substantial challenges to their practical deployment and raises concerns over the reliability of LLMs in real-world scenarios, which attracts increasing attention to detect and mitigate these hallucinations. In this survey, we aim to provide a thorough and in-depth overview of recent advances in the field of LLM hallucinations. We begin with an innovative taxonomy of LLM hallucinations, then delve into the factors contributing to hallucinations. Subsequently, we present a comprehensive overview of hallucination detection methods and benchmarks. Additionally, representative approaches designed to mitigate hallucinations are introduced accordingly. Finally, we analyze the challenges that highlight the current limitations and formulate open questions, aiming to delineate pathways for future research on hallucinations in LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google