Making Language Models Robust Against Negation

要約

否定は言語モデルにとって長年の課題でした。
以前の研究では、彼らが多くの自然言語理解のタスクにおいて否定に苦しんでいることが示されています。
この作業では、言語モデルを否定に対してより堅牢にするための自己監視方法を提案します。
新しいタスク、次の文の極性予測（NSPP）、および次の文予測（NSP）タスクのバリエーションを紹介します。
BertとRobertaは、9つの否定関連のベンチマークで、既製のバージョンよりも優れているタスクでさらに事前に訓練されていることを示しています。
最も顕著なのは、トレーニング前のタスクがコンドカに1.8％から9.1％の改善をもたらすことです。

要約(オリジナル)

Negation has been a long-standing challenge for language models. Previous studies have shown that they struggle with negation in many natural language understanding tasks. In this work, we propose a self-supervised method to make language models more robust against negation. We introduce a novel task, Next Sentence Polarity Prediction (NSPP), and a variation of the Next Sentence Prediction (NSP) task. We show that BERT and RoBERTa further pre-trained on our tasks outperform the off-the-shelf versions on nine negation-related benchmarks. Most notably, our pre-training tasks yield between 1.8% and 9.1% improvement on CondaQA, a large question-answering corpus requiring reasoning over negation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google