A Comprehensive Survey of Hallucination Mitigation Techniques in Large Language Models

要約

大規模言語モデル (LLM) は人間のようなテキストを書く能力が進化し続けていますが、事実のように見えるが根拠のないコンテンツを幻覚で生成する傾向に関して重要な課題が残っています。
この幻覚の問題は、おそらく人々の生活に影響を与える現実世界の実稼働システムにこれらの強力な LLM を安全に導入する上での最大の障害です。
実際の環境で LLM が広く採用されるまでの道のりは、幻覚への対処と軽減に大きく依存しています。
限られたタスクに重点を置いた従来の AI システムとは異なり、LLM はトレーニング中に膨大な量のオンライン テキスト データにさらされてきました。
これにより、言語の流暢さは驚くべきものになりますが、同時に、トレーニング データの偏りから情報を外挿したり、曖昧なプロンプトを誤解したり、表面的に入力と一致するように情報を変更したりできることも意味します。
医療記録の要約や財務分析レポートなど、機密性の高いアプリケーションで言語生成機能に依存する場合、これは非常に憂慮すべきことになります。この論文では、LLM の幻覚を軽減するために開発された 32 以上の技術の包括的な調査を紹介します。
これらの中で注目に値するのは、Retrieval Augmented Generation (Lewis et al、2021)、Knowledge Retrieval (Varshney et al、2023)、CoNLI (Lei et al、2023)、CoVe (Dhuliawala et al、2023) です。
さらに、データセットの利用状況、一般的なタスク、フィードバック メカニズム、レトリーバーの種類などのさまざまなパラメーターに基づいてこれらの方法を分類する詳細な分類を紹介します。
この分類は、LLM における幻覚問題に取り組むために特別に設計された多様なアプローチを区別するのに役立ちます。
さらに、これらの技術に固有の課題と限界を分析し、LLM の領域内の幻覚および関連現象に対処する将来の研究のための強固な基盤を提供します。

要約(オリジナル)

As Large Language Models (LLMs) continue to advance in their ability to write human-like text, a key challenge remains around their tendency to hallucinate generating content that appears factual but is ungrounded. This issue of hallucination is arguably the biggest hindrance to safely deploying these powerful LLMs into real-world production systems that impact people’s lives. The journey toward widespread adoption of LLMs in practical settings heavily relies on addressing and mitigating hallucinations. Unlike traditional AI systems focused on limited tasks, LLMs have been exposed to vast amounts of online text data during training. While this allows them to display impressive language fluency, it also means they are capable of extrapolating information from the biases in training data, misinterpreting ambiguous prompts, or modifying the information to align superficially with the input. This becomes hugely alarming when we rely on language generation capabilities for sensitive applications, such as summarizing medical records, financial analysis reports, etc. This paper presents a comprehensive survey of over 32 techniques developed to mitigate hallucination in LLMs. Notable among these are Retrieval Augmented Generation (Lewis et al, 2021), Knowledge Retrieval (Varshney et al,2023), CoNLI (Lei et al, 2023), and CoVe (Dhuliawala et al, 2023). Furthermore, we introduce a detailed taxonomy categorizing these methods based on various parameters, such as dataset utilization, common tasks, feedback mechanisms, and retriever types. This classification helps distinguish the diverse approaches specifically designed to tackle hallucination issues in LLMs. Additionally, we analyze the challenges and limitations inherent in these techniques, providing a solid foundation for future research in addressing hallucinations and related phenomena within the realm of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google