A Comprehensive Survey of Hallucination Mitigation Techniques in Large Language Models

要約

大規模言語モデル（LLM）が人間のような文章を書く能力を向上させ続ける一方で、事実のように見えるが根拠のないコンテンツを生成する幻覚の傾向に関する重要な課題が残っている。この幻覚の問題は、この強力なLLMを、人々の生活に影響を与える実世界の生産システムに安全に導入する上で、間違いなく最大の障害となる。LLMを実用的な環境で広く採用するための道のりは、幻覚への対処と軽減に大きく依存している。限られたタスクに集中する従来のAIシステムとは異なり、LLMはトレーニング中に膨大な量のオンライン・テキスト・データにさらされてきた。このため、LLMは流暢な言語能力を発揮することができるが、同時に、学習データの偏りから情報を推定したり、あいまいなプロンプトを誤って解釈したり、入力と表面的に一致するように情報を修正したりする可能性がある。このことは、医療記録の要約や財務分析レポートなど、機密性の高いアプリケーションの言語生成機能に依存する場合、非常に憂慮すべき事態となる。本稿では、LLMにおける幻覚を軽減するために開発された32以上の技術を包括的に紹介する。中でも注目すべきは、Retrieval Augmented Generation (Lewis et al, 2021)、Knowledge Retrieval (Varshney et al,2023)、CoNLI (Lei et al, 2023)、CoVe (Dhuliawala et al, 2023)である。さらに、データセットの利用、一般的なタスク、フィードバックのメカニズム、リトリーバのタイプなど、様々なパラメータに基づいてこれらの手法を分類する詳細な分類法を紹介する。この分類は、LLMの幻覚問題に取り組むために特別に設計された多様なアプローチを区別するのに役立つ。さらに、これらの手法に内在する課題と限界を分析し、LLMの領域で幻覚と関連する現象に取り組む今後の研究に確かな基盤を提供する。

要約(オリジナル)

As Large Language Models (LLMs) continue to advance in their ability to write human-like text, a key challenge remains around their tendency to hallucinate generating content that appears factual but is ungrounded. This issue of hallucination is arguably the biggest hindrance to safely deploying these powerful LLMs into real-world production systems that impact people’s lives. The journey toward widespread adoption of LLMs in practical settings heavily relies on addressing and mitigating hallucinations. Unlike traditional AI systems focused on limited tasks, LLMs have been exposed to vast amounts of online text data during training. While this allows them to display impressive language fluency, it also means they are capable of extrapolating information from the biases in training data, misinterpreting ambiguous prompts, or modifying the information to align superficially with the input. This becomes hugely alarming when we rely on language generation capabilities for sensitive applications, such as summarizing medical records, financial analysis reports, etc. This paper presents a comprehensive survey of over 32 techniques developed to mitigate hallucination in LLMs. Notable among these are Retrieval Augmented Generation (Lewis et al, 2021), Knowledge Retrieval (Varshney et al,2023), CoNLI (Lei et al, 2023), and CoVe (Dhuliawala et al, 2023). Furthermore, we introduce a detailed taxonomy categorizing these methods based on various parameters, such as dataset utilization, common tasks, feedback mechanisms, and retriever types. This classification helps distinguish the diverse approaches specifically designed to tackle hallucination issues in LLMs. Additionally, we analyze the challenges and limitations inherent in these techniques, providing a solid foundation for future research in addressing hallucinations and related phenomena within the realm of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL