Enhancing Robustness of Retrieval-Augmented Language Models with In-Context Learning

要約

検索拡張言語モデル (RALM) は、外部知識を活用することで、オープンドメインの質問応答 (QA) のパフォーマンスを大幅に向上させました。
しかし、RALM は依然として、取得されたコンテキストに正しい答えが含まれていない答えのないクエリや、不完全な検索により異なるソースから矛盾した答えが得られる矛盾した情報に悩まされています。
この研究では、RALM の推論能力を強化するためのインコンテキスト学習ベースのアプローチを導入し、不完全な検索シナリオにおいて RALM をより堅牢にします。
私たちの手法には、ケースと呼ばれる機械読解理解 (MRC) のデモンストレーションが組み込まれており、取得されたコンテキスト間の応答不能や矛盾を識別するモデルの機能が強化されています。
2 つのオープンドメイン QA データセットでの実験では、私たちのアプローチにより、追加の微調整を必要とせずに、回答不可能で矛盾するシナリオを特定する精度が向上することがわかりました。
この研究は、コンテキスト内学習がオープンドメインの QA タスクにおける RALM の堅牢性を効果的に強化できることを示しています。

要約(オリジナル)

Retrieval-Augmented Language Models (RALMs) have significantly improved performance in open-domain question answering (QA) by leveraging external knowledge. However, RALMs still struggle with unanswerable queries, where the retrieved contexts do not contain the correct answer, and with conflicting information, where different sources provide contradictory answers due to imperfect retrieval. This study introduces an in-context learning-based approach to enhance the reasoning capabilities of RALMs, making them more robust in imperfect retrieval scenarios. Our method incorporates Machine Reading Comprehension (MRC) demonstrations, referred to as cases, to boost the model’s capabilities to identify unanswerabilities and conflicts among the retrieved contexts. Experiments on two open-domain QA datasets show that our approach increases accuracy in identifying unanswerable and conflicting scenarios without requiring additional fine-tuning. This work demonstrates that in-context learning can effectively enhance the robustness of RALMs in open-domain QA tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google