Towards Verifiable Text Generation with Evolving Memory and Self-Reflection

要約

大規模言語モデル (LLM) は、幻覚として知られる誤った出力を生成する傾向を含む、いくつかの課題に直面しています。
効果的な解決策は検証可能なテキストの生成です。これにより、LLM は正確性を検証するために引用を含むコンテンツを生成するようになります。
しかし、検証可能なテキストの生成は、焦点が移動する現象、文書検索の精度と範囲の間のジレンマ、および請求項と引用の間の関係を識別するために必要な複雑な推論のため、自明ではありません。
このペーパーでは、記憶と内省を進化させた検証可能なテキスト生成のための革新的なアプローチである VTG を紹介します。
VTG は、進化する長期短期記憶を維持して、貴重なドキュメントと最新のドキュメントの両方を保持します。
アクティブな検索と多様なクエリ生成を利用して、検索されるドキュメントの精度と範囲の両方を強化します。
さらに、VTG は 2 層の検証機能と証拠検索機能を備えており、主張と引用の関係を再考して反映することができます。
私たちは 3 つの知識集約型タスクにわたって 5 つのデータセットに対して広範な実験を実施し、その結果、VTG が既存のベースラインを大幅に上回ることが明らかになりました。

要約(オリジナル)

Large Language Models (LLMs) face several challenges, including the tendency to produce incorrect outputs, known as hallucination. An effective solution is verifiable text generation, which prompts LLMs to generate content with citations for accuracy verification. However, verifiable text generation is non-trivial due to the focus-shifting phenomenon, the dilemma between the precision and scope in document retrieval, and the intricate reasoning required to discern the relationship between the claim and citations. In this paper, we present VTG, an innovative approach for Verifiable Text Generation with evolving memory and self-reflection. VTG maintains evolving long short-term memory to retain both valuable documents and up-to-date documents. Active retrieval and diverse query generation are utilized to enhance both the precision and scope of the retrieved documents. Furthermore, VTG features a two-tier verifier and an evidence finder, enabling rethinking and reflection on the relationship between the claim and citations. We conduct extensive experiments on five datasets across three knowledge-intensive tasks and the results reveal that VTG significantly outperforms existing baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google