Citation-Enhanced Generation for LLM-based Chatbots

要約

大規模な言語モデル（LLMS）は、チャットボットへの統合を含む、多様なシナリオ全体で強力な一般情報を示しています。
ただし、LLMベースのチャットボットの重要な課題は、応答で幻覚コンテンツを生成する可能性があることです。これにより、適用性が大幅に制限されます。
検索された生成の増加や人間のフィードバックによる補強学習など、幻覚を軽減するためにさまざまな努力が払われていますが、それらのほとんどは追加のトレーニングとデータアノテーションを必要とします。
この論文では、検索の議論と組み合わせた新しい事後引用強化生成（CEG）アプローチを提案します。
生成中の幻覚の防止に焦点を当てた以前の研究とは異なり、我々の方法はこの問題に事後に対処します。
検索モジュールが組み込まれ、生成されたコンテンツに関連するサポートドキュメントを検索し、自然言語の推論ベースの引用生成モジュールを採用しています。
生成されたコンテンツの参照が不足していると、すべてのステートメントが引用によってサポートされるまで、モデルが応答を再生できます。
この方法は、さまざまなLLMが可能なトレーニングフリーのプラグアンドプレイプラグインであることに注意してください。
さまざまな幻覚関連のデータセットでの実験は、私たちのフレームワークが、3つのベンチマークでの幻覚検出と応答再生の両方で最新の方法を上回ることを示しています。
当社のコードとデータセットは公開されます。

要約(オリジナル)

Large language models (LLMs) exhibit powerful general intelligence across diverse scenarios, including their integration into chatbots. However, a vital challenge of LLM-based chatbots is that they may produce hallucinated content in responses, which significantly limits their applicability. Various efforts have been made to alleviate hallucination, such as retrieval augmented generation and reinforcement learning with human feedback, but most of them require additional training and data annotation. In this paper, we propose a novel post-hoc Citation-Enhanced Generation (CEG) approach combined with retrieval argumentation. Unlike previous studies that focus on preventing hallucinations during generation, our method addresses this issue in a post-hoc way. It incorporates a retrieval module to search for supporting documents relevant to the generated content, and employs a natural language inference-based citation generation module. Once the statements in the generated content lack of reference, our model can regenerate responses until all statements are supported by citations. Note that our method is a training-free plug-and-play plugin that is capable of various LLMs. Experiments on various hallucination-related datasets show our framework outperforms state-of-the-art methods in both hallucination detection and response regeneration on three benchmarks. Our codes and dataset will be publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google