Unleashing Potential of Evidence in Knowledge-Intensive Dialogue Generation

要約

外部の知識を対話生成 (KIDG) に組み込むことは、応答の正確性を向上させるために重要です。証拠の断片は、事実の対話の応答をサポートする知識のある断片として機能します。
ただし、無関係なコンテンツを導入すると、返信の品質に悪影響を与えることが多く、幻覚反応を引き起こしやすくなります。
証拠の検索と対話システムへの統合に関するこれまでの研究では、モデルが有用な断片を正確に特定できず、KIDG データセット内の隠された証拠ラベルを見落としたため、既存の証拠を完全に活用するには至っていませんでした。
証拠の可能性を最大限に引き出すために、知識集約型対話生成 (u-EIDG) に証拠を効果的に組み込むフレームワークを提案します。
具体的には、大規模言語モデル (LLM) の力を利用して、ラベルのないデータから信頼できる証拠の真実性ラベルをマイニングする自動証拠生成フレームワークを導入します。
これらの証拠ラベルを利用することで、取得した文章から関連する証拠を効果的に識別するための信頼できる証拠インジケーターをトレーニングします。
さらに、モデルが証拠のあるセグメントに集中できるようにする、証拠に焦点を当てた注意メカニズムを備えた証拠強化ジェネレーターを提案します。
MultiDoc2Dial の実験結果は、モデルのパフォーマンス向上における証拠ラベルの拡張と洗練された注意メカニズムの有効性を示しています。
さらなる分析により、提案された方法が一貫性と事実の一貫性に関して他のベースライン（+3〜+5ポイント）を上回っていることが確認されました。

要約(オリジナル)

Incorporating external knowledge into dialogue generation (KIDG) is crucial for improving the correctness of response, where evidence fragments serve as knowledgeable snippets supporting the factual dialogue replies. However, introducing irrelevant content often adversely impacts reply quality and easily leads to hallucinated responses. Prior work on evidence retrieval and integration in dialogue systems falls short of fully leveraging existing evidence since the model fails to locate useful fragments accurately and overlooks hidden evidence labels within the KIDG dataset. To fully Unleash the potential of evidence, we propose a framework to effectively incorporate Evidence in knowledge-Intensive Dialogue Generation (u-EIDG). Specifically, we introduce an automatic evidence generation framework that harnesses the power of Large Language Models (LLMs) to mine reliable evidence veracity labels from unlabeled data. By utilizing these evidence labels, we train a reliable evidence indicator to effectively identify relevant evidence from retrieved passages. Furthermore, we propose an evidence-augmented generator with an evidence-focused attention mechanism, which allows the model to concentrate on evidenced segments. Experimental results on MultiDoc2Dial demonstrate the efficacy of evidential label augmentation and refined attention mechanisms in improving model performance. Further analysis confirms that the proposed method outperforms other baselines (+3~+5 points) regarding coherence and factual consistency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google