Desiderata for the Context Use of Question Answering Systems

要約

これまでの研究により、最先端のコンテキストベースの質問応答 (QA) システムに共通する一連の問題が明らかになりました。それは、コンテキストがモデルのパラメトリック知識と矛盾する場合のコンテキストへの注意の欠如、ノイズに対する堅牢性の低さ、および
彼らの答えには一貫性がありません。
ただし、これまでの研究のほとんどは、これらの問題の 1 つまたは 2 つを個別に焦点を当てていたため、全体の傾向を把握することが困難でした。
私たちは、最初に QA モデルに対する一連の (以前に議論され、また新しい) 要望の概要を概説することで、このギャップを埋めることを目指しています。
次に、関連する分析および手法に関する論文を調査して、この分野の現状の概要を提供します。
私たちの研究の 2 番目の部分では、すべての要望に従って 5 つのデータセットで 15 の QA システムを一度に評価する実験を示します。
私たちは、(1) ノイズの影響を受けにくいシステムは、無関係なコンテキストが与えられた場合にその答えと必ずしも一致するとは限りません。
(2) ノイズの影響を受けやすいほとんどのシステムは、パラメトリックな知識と矛盾するコンテキストに従って正しく応答する可能性が高くなります。
(3) 矛盾する知識とノイズの組み合わせにより、システムのパフォーマンスが最大 96% 低下する可能性があります。
したがって、私たちの要望は、これらのモデルがどのように機能するかについての理解を深め、改善の可能性のある道筋を明らかにするのに役立ちます。

要約(オリジナル)

Prior work has uncovered a set of common problems in state-of-the-art context-based question answering (QA) systems: a lack of attention to the context when the latter conflicts with a model’s parametric knowledge, little robustness to noise, and a lack of consistency with their answers. However, most prior work focus on one or two of those problems in isolation, which makes it difficult to see trends across them. We aim to close this gap, by first outlining a set of — previously discussed as well as novel — desiderata for QA models. We then survey relevant analysis and methods papers to provide an overview of the state of the field. The second part of our work presents experiments where we evaluate 15 QA systems on 5 datasets according to all desiderata at once. We find many novel trends, including (1) systems that are less susceptible to noise are not necessarily more consistent with their answers when given irrelevant context; (2) most systems that are more susceptible to noise are more likely to correctly answer according to a context that conflicts with their parametric knowledge; and (3) the combination of conflicting knowledge and noise can reduce system performance by up to 96%. As such, our desiderata help increase our understanding of how these models work and reveal potential avenues for improvements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google