Improving Zero-shot Reader by Reducing Distractions from Irrelevant Documents in Open-Domain Question Answering

要約

大規模言語モデル (LLM) は、オープンドメイン質問応答 (ODQA) におけるゼロショット アプローチを可能にしますが、リーダーは検索者と比較されるため、進歩は限られています。
この研究は、計算コストとラベル付きデータの必要性の課題に対処するゼロショット リーダーの実現可能性を目的としています。
LLM がゼロショット リーダーとして悪用されると、取得したセット内の無関係な文書と、生成された回答の過信により、気が散ってしまうことがわかりました。
これらの問題に対処するために、私たちは、適切な回答を選択するための否定ベースの指示とスコア調整を備えた気晴らしを考慮した回答選択 (DAS) を通じて、そのような文書の影響を軽減します。
実験結果は、私たちのアプローチがさまざまなシナリオにわたって注意散漫にうまく対処し、ゼロショットリーダーのパフォーマンスを向上させることを示しています。
さらに、目に見えないデータに苦労する教師ありリーダーとは異なり、ゼロショットリーダーはトレーニングなしでも優れた転送能力を示します。

要約(オリジナル)

Large language models (LLMs) enable zero-shot approaches in open-domain question answering (ODQA), yet with limited advancements as the reader is compared to the retriever. This study aims at the feasibility of a zero-shot reader that addresses the challenges of computational cost and the need for labeled data. We find that LLMs are distracted due to irrelevant documents in the retrieved set and the overconfidence of the generated answers when they are exploited as zero-shot readers. To tackle these problems, we mitigate the impact of such documents via Distraction-aware Answer Selection (DAS) with a negation-based instruction and score adjustment for proper answer selection. Experimental results show that our approach successfully handles distraction across diverse scenarios, enhancing the performance of zero-shot readers. Furthermore, unlike supervised readers struggling with unseen data, zero-shot readers demonstrate outstanding transferability without any training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google