Trapping LLM Hallucinations Using Tagged Context Prompts

要約

ChatGPT などの大規模言語モデル (LLM) の最近の進歩により、高度に洗練された会話エージェントが実現されました。
しかし、これらのモデルは、モデルが虚偽または捏造された情報を生成する「幻覚」に悩まされています。
特に AI 主導のプラットフォームがさまざまな分野で採用されている場合、この課題に対処することが重要です。
この論文では、LLM がドメイン知識を超えて実行した場合にインスタンスを認識してフラグを立て、ユーザーが正確な情報を確実に受け取ることができる新しい方法を提案します。
埋め込みタグと組み合わせたコンテキストを使用すると、生成言語モデル内で幻覚とうまく戦うことができることがわかりました。
これを行うために、生成された URL を捏造されたデータの簡単にテストできる指標として使用し、コンテキストのないプロンプトと応答のペアで幻覚の頻度をベースラインに設定します。
テストされた生成エンジンに対して質問プロンプトとともにコンテキストが提供された場合、全体的な幻覚が大幅に減少することが観察されました。
最後に、コンテキスト内にタグを配置することがモデルの応答にどのような影響を与えるかを評価し、98.88% の有効性で応答内の幻覚を除去することができました。

要約(オリジナル)

Recent advances in large language models (LLMs), such as ChatGPT, have led to highly sophisticated conversation agents. However, these models suffer from ‘hallucinations,’ where the model generates false or fabricated information. Addressing this challenge is crucial, particularly with AI-driven platforms being adopted across various sectors. In this paper, we propose a novel method to recognize and flag instances when LLMs perform outside their domain knowledge, and ensuring users receive accurate information. We find that the use of context combined with embedded tags can successfully combat hallucinations within generative language models. To do this, we baseline hallucination frequency in no-context prompt-response pairs using generated URLs as easily-tested indicators of fabricated data. We observed a significant reduction in overall hallucination when context was supplied along with question prompts for tested generative engines. Lastly, we evaluated how placing tags within contexts impacted model responses and were able to eliminate hallucinations in responses with 98.88% effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google