Mitigating Knowledge Conflicts in Language Model-Driven Question Answering

要約

ドキュメントベースの質問応答システムやドキュメント要約システムなど、知識主導型の seq-to-seq 生成タスクのコンテキストでは、モデル パラメーターに埋め込まれた固有の知識とコンテキストを通じて取得される外部知識という 2 つの基本的な知識ソースが重要な役割を果たします。
最近の研究では、重大な課題が明らかになりました。モデルの固有の知識とトレーニング データ内のグランド トゥルースの答えの間に不整合がある場合、システムは、入力コンテキストを無視したり、不誠実なコンテンツを生成したりするなど、推論中に問題のある動作を示す可能性があります。
私たちの調査では、ソース入力と生成された出力の間の明示的な接続を構築することで幻覚を最小限に抑える戦略を提案しています。
私たちは特に質問応答における一般的な幻覚パターンをターゲットにし、モデルトレーニング中のエンティティとそのコンテキスト間の対応が推論時のシステムのパフォーマンスにどのような影響を与えるかを調べます。

要約(オリジナル)

In the context of knowledge-driven seq-to-seq generation tasks, such as document-based question answering and document summarization systems, two fundamental knowledge sources play crucial roles: the inherent knowledge embedded within model parameters and the external knowledge obtained through context. Recent studies revealed a significant challenge: when there exists a misalignment between the model’s inherent knowledge and the ground truth answers in training data, the system may exhibit problematic behaviors during inference, such as ignoring input context, or generating unfaithful content. Our investigation proposes a strategy to minimize hallucination by building explicit connection between source inputs and generated outputs. We specifically target a common hallucination pattern in question answering, examining how the correspondence between entities and their contexts during model training influences the system’s performance at inference time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google