Single-Sentence Reader: A Novel Approach for Addressing Answer Position Bias

要約

Machine Reading Comprehension (MRC) モデルは、偽の相関 (研究コミュニティではデータセットのバイアスまたはアノテーション アーティファクトとも呼ばれます) を利用する傾向があります。
その結果、これらのモデルは、与えられたコンテキストや質問を完全に理解することなく MRC タスクを実行する可能性があり、これは分布シフトに対するロバスト性が低くなる可能性があるため、望ましくありません。
このペーパーの主な焦点は、回答位置バイアスです。つまり、トレーニング質問のかなりの割合で、コンテキストの最初の文のみに回答が存在します。
私たちは、MRC における回答位置の偏りに対処するための新しいアプローチとして、Single-Sentence Reader を提案します。
注目すべきことに、6 つの異なるモデルを使用した実験では、偏ったデータセットでトレーニングされた私たちが提案した単文リーダーは、通常のデータセットでトレーニングされたモデルの結果とほぼ一致する結果を達成し、回答位置の偏りに対処する際の有効性を証明しました。
私たちの研究では、単文リーダーが遭遇するいくつかの課題についても議論し、潜在的な解決策を提案しています。

要約(オリジナル)

Machine Reading Comprehension (MRC) models tend to take advantage of spurious correlations (also known as dataset bias or annotation artifacts in the research community). Consequently, these models may perform the MRC task without fully comprehending the given context and question, which is undesirable since it may result in low robustness against distribution shift. The main focus of this paper is answer-position bias, where a significant percentage of training questions have answers located solely in the first sentence of the context. We propose a Single-Sentence Reader as a new approach for addressing answer position bias in MRC. Remarkably, in our experiments with six different models, our proposed Single-Sentence Readers trained on biased dataset achieve results that nearly match those of models trained on normal dataset, proving their effectiveness in addressing the answer position bias. Our study also discusses several challenges our Single-Sentence Readers encounter and proposes a potential solution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google