Towards Verifiable Text Generation with Evolving Memory and Self-Reflection

要約

大規模言語モデル (LLM) は言語の理解と生成において優れた能力を持っていますが、幻覚としても知られる、事実に誤りのある情報を生成するという問題に悩まされることがよくあります。
この問題に対する有望な解決策は、検証可能なテキストの生成です。これにより、LLM は、正確性を検証するために引用を含むコンテンツを生成するようになります。
しかし、検証可能なテキストの生成は、焦点が移動する現象、主張を正しい引用と一致させるために必要な複雑な推論、取得された文書の精度と範囲の間のジレンマのため、自明ではありません。
このペーパーでは、進化する記憶と内省を備えた検証可能なテキスト生成のための革新的なフレームワークである VTG を紹介します。
VTG では、貴重なドキュメントと最近のドキュメントの両方を保持するために、進化した長期短期記憶が導入されています。
証拠ファインダーを備えた 2 層検証者は、クレームと引用の間の関係を再考し反映するために提案されています。
さらに、アクティブな検索と多様なクエリ生成を利用して、検索されるドキュメントの精度と範囲の両方を強化します。
私たちは 3 つの知識集約的なタスクにわたって 5 つのデータセットに対して広範な実験を実施し、その結果、VTG がベースラインを大幅に上回るパフォーマンスを示したことが明らかになりました。

要約(オリジナル)

Despite the remarkable ability of large language models (LLMs) in language comprehension and generation, they often suffer from producing factually incorrect information, also known as hallucination. A promising solution to this issue is verifiable text generation, which prompts LLMs to generate content with citations for accuracy verification. However, verifiable text generation is non-trivial due to the focus-shifting phenomenon, the intricate reasoning needed to align the claim with correct citations, and the dilemma between the precision and breadth of retrieved documents. In this paper, we present VTG, an innovative framework for Verifiable Text Generation with evolving memory and self-reflection. VTG introduces evolving long short-term memory to retain both valuable documents and recent documents. A two-tier verifier equipped with an evidence finder is proposed to rethink and reflect on the relationship between the claim and citations. Furthermore, active retrieval and diverse query generation are utilized to enhance both the precision and breadth of the retrieved documents. We conduct extensive experiments on five datasets across three knowledge-intensive tasks and the results reveal that VTG significantly outperforms baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google