Mitigating Knowledge Conflicts in Language Model-Driven Question Answering

要約

文書の質問応答や要約要約などの知識を意識したシーケンス間生成タスクには、通常、エンコードされたパラメトリック知識と取得されたコンテキスト情報という 2 種類の知識が必要です。
これまでの研究では、トレーニング セット内のパラメトリック知識と回答の間の不適切な相関により、モデルがテスト時に入力情報を無視し、その結果、過安定性や幻覚などの望ましくないモデルの動作が発生する可能性があることが示されています。
この研究では、入力ソースと生成されたコンテンツの間の明示的な相関関係によって幻覚が軽減される可能性があると主張しています。
私たちは、トレーニング時のエンティティとその記述の相関関係が推論中のモデルの動作を妨げる、幻覚、質問応答におけるエンティティベースの知識の衝突の典型的な例に焦点を当てます。

要約(オリジナル)

Knowledge-aware sequence to sequence generation tasks such as document question answering and abstract summarization typically requires two types of knowledge: encoded parametric knowledge and retrieved contextual information. Previous work show improper correlation between parametric knowledge and answers in the training set could cause the model ignore input information at test time, resulting in un-desirable model behaviour such as over-stability and hallucination. In this work, we argue that hallucination could be mitigated via explicit correlation between input source and generated content. We focus on a typical example of hallucination, entity-based knowledge conflicts in question answering, where correlation of entities and their description at training time hinders model behaviour during inference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google