Towards Building a Robust Knowledge Intensive Question Answering Model with Large Language Models

要約

LLM の開発により、質問応答のインテリジェンスと流暢さが大幅に向上し、検索拡張機能の出現により、モデルが外部情報をより適切に利用できるようになりました。
ただし、取得した情報にノイズやエラーが存在すると、LLM の堅牢性に課題が生じます。
この作業では、複数の干渉下でのモデルのパフォーマンスを評価するために、最初に、重要な情報の欠如、ノイズ、競合などのさまざまなシナリオをシミュレートする機械読解データセットに基づいてデータセットを構築します。
ノイズの多い外部情報によって引き起こされるモデル精度の低下の問題に対処するために、ノイズに対する LLM の堅牢性を強化するデータ拡張ベースの微調整方法を提案します。
さらに、外部情報のモデルの識別能力を維持するために、対比学習アプローチが利用されます。
既存のLLMと私たちのアプローチの両方で実験を行い、その結果はGPT-4によって評価されました。これは、私たちの提案した方法がモデルの識別能力を強化しながらモデルのロバスト性を向上させることを示しています。

要約(オリジナル)

The development of LLMs has greatly enhanced the intelligence and fluency of question answering, while the emergence of retrieval enhancement has enabled models to better utilize external information. However, the presence of noise and errors in retrieved information poses challenges to the robustness of LLMs. In this work, to evaluate the model’s performance under multiple interferences, we first construct a dataset based on machine reading comprehension datasets simulating various scenarios, including critical information absence, noise, and conflicts. To address the issue of model accuracy decline caused by noisy external information, we propose a data augmentation-based fine-tuning method to enhance LLM’s robustness against noise. Additionally, contrastive learning approach is utilized to preserve the model’s discrimination capability of external information. We have conducted experiments on both existing LLMs and our approach, the results are evaluated by GPT-4, which indicates that our proposed methods improve model robustness while strengthening the model’s discrimination capability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google