Discern and Answer: Mitigating the Impact of Misinformation in Retrieval-Augmented Models with Discriminators

要約

【タイトル】
Discern and Answer: Mitigating the Impact of Misinformation in Retrieval-Augmented Models with Discriminators

【要約】
・多くの問題解決言語モデルは、回答に必要な情報がすべて正確であると仮定している。
・しかし、 問題を解くために回収された情報に誤りが含まれている場合があるため、これは現実的な考慮事項である。
・このような情報が含まれる場合、言語モデルは非常に脆弱であることが判明している。
・この研究では、ディスクリミネーターを明示的に微調整することまたは GPT-3 でのディスクリミネーション能力を引き出すプロンプトを使用し、回収された情報に誤りが含まれる場合でも、問題解決言語モデルをロバストにする方法を提案する。
・実験的結果は、これらのアプローチが、知識の競合に対する対処能力を大幅に向上させることを示している。
・さらに、微調整されたモデルの決定を文脈に組み込む方法についての結果を示し、新しい方法を提供する。

要約(オリジナル)

Most existing retrieval-augmented language models (LMs) for question answering assume all retrieved information is factually correct. In this work, we study a more realistic scenario in which retrieved documents may contain misinformation, causing conflicts among them. We observe that the existing models are highly brittle to such information in both fine-tuning and in-context few-shot learning settings. We propose approaches to make retrieval-augmented LMs robust to misinformation by explicitly fine-tuning a discriminator or prompting to elicit discrimination capability in GPT-3. Our empirical results on open-domain question answering show that these approaches significantly improve LMs’ robustness to knowledge conflicts. We also provide our findings on interleaving the fine-tuned model’s decision with the in-context learning process, paving a new path to leverage the best of both worlds.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI