Single-Sentence Reader: A Novel Approach for Addressing Answer Position Bias

要約

Machine Reading Comprehension (MRC) モデルは、偽の相関 (研究コミュニティではデータセットのバイアスまたはアノテーション アーティファクトとも呼ばれます) を利用する傾向があります。
その結果、これらのモデルは、与えられたコンテキストや質問を完全に理解することなく MRC タスクを実行する可能性があり、これは分布シフトに対するロバスト性が低くなる可能性があるため、望ましくありません。
このペーパーでは、回答位置バイアスの概念を詳しく掘り下げています。このバイアスでは、トレーニング質問のかなりの割合で、コンテキストの最初の文のみに回答が存在します。
私たちは、MRC における回答位置の偏りに対処するための新しいアプローチとして、Single-Sentence Reader を提案します。
このアプローチを 6 つの異なるモデルを使用して実装し、そのパフォーマンスを徹底的に分析します。
注目すべきことに、私たちが提案する Single-Sentence Readers は、従来のトレーニング セットでトレーニングされたモデルの結果とほぼ一致する結果を達成し、その有効性を証明しています。
私たちの研究では、単文リーダーが遭遇するいくつかの課題についても議論し、潜在的な解決策を提案しています。

要約(オリジナル)

Machine Reading Comprehension (MRC) models tend to take advantage of spurious correlations (also known as dataset bias or annotation artifacts in the research community). Consequently, these models may perform the MRC task without fully comprehending the given context and question, which is undesirable since it may result in low robustness against distribution shift. This paper delves into the concept of answer-position bias, where a significant percentage of training questions have answers located solely in the first sentence of the context. We propose a Single-Sentence Reader as a new approach for addressing answer position bias in MRC. We implement this approach using six different models and thoroughly analyze their performance. Remarkably, our proposed Single-Sentence Readers achieve results that nearly match those of models trained on conventional training sets, proving their effectiveness. Our study also discusses several challenges our Single-Sentence Readers encounter and proposes a potential solution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google