Momentum Contrastive Pre-training for Question Answering

要約

タイトル：問答応答のためのMomentum Contrastive Pre-training

要約：
-従来の問答応答のプレトレーニング方法は、文法的な構造において自然な質問とは異なるクローズライクなクエリを生成し、事前学習されたモデルがキーワードマッチングに過剰に適合する可能性がある。
-この問題に対処するため、我々は抽出型QAのための革新的なMomentum Contrastive pRe-training fOr queStion anSwering (MCROSS)方法を提案する。
-具体的には、MCROSSは、クローズライクなクエリと自然言語のパッセージのサンプルペア間の回答確率を整合させるために、運動量コントラスト学習フレームワークを導入する。
-したがって、事前に学習したモデルは、クローズライクなサンプルで学習した知識を自然な質問に回答するためによりよく転移することができる。
-3つのベンチマークQAデータセット上の実験結果は、MCROSSが監視された場合とゼロショットのシナリオの両方ですべてのベースラインに比べて顕著な改善を達成することを示している。

要約(オリジナル)

Existing pre-training methods for extractive Question Answering (QA) generate cloze-like queries different from natural questions in syntax structure, which could overfit pre-trained models to simple keyword matching. In order to address this problem, we propose a novel Momentum Contrastive pRe-training fOr queStion anSwering (MCROSS) method for extractive QA. Specifically, MCROSS introduces a momentum contrastive learning framework to align the answer probability between cloze-like and natural query-passage sample pairs. Hence, the pre-trained models can better transfer the knowledge learned in cloze-like samples to answering natural questions. Experimental results on three benchmarking QA datasets show that our method achieves noticeable improvement compared with all baselines in both supervised and zero-shot scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI