The Self-Contained Negation Test Set

要約

最近、事前トレーニング済み言語モデル (PLM) の否定を解釈する能力を評価するためのいくつかの方法論が提案されています。
この記事では、入力の極性の関数として PLM の予測の修正を研究した Gubelmann と Handschuh (2022) を英語でベースにしています。
重要なのは、このテストではマスクされた位置で終わる「自己完結型」入力を使用することです。入力内の動詞の極性に応じて、特定のトークンが意味的に除外されるか、マスクされた位置で許可されます。
Gubelmann と Handschuh (2022) の実験を再現することで、このテストから導き出される結論を弱める欠陥を発見しました。
したがって、我々は改良版である自己完結型否定テストを提案します。これは、より管理され、より体系的で、英語での口頭否定の有無のみが異なる最小限のペアを形成する例に完全に基づいています。
roberta および bert のベースと大規模モデルにテストを適用すると、roberta-large のみが期待と一致する傾向を示し、bert-base は否定の影響をほとんど受けないことがわかります。
ただし、テストされたすべてのモデルについて、かなりの数のテスト インスタンスで、トップ 1 の予測がコンテキストによって意味的に禁止されたトークンのままであり、これは、否定現象を適切に処理するためにどれだけの改善の余地が残っているかを示しています。

要約(オリジナル)

Several methodologies have recently been proposed to evaluate the ability of Pretrained Language Models (PLMs) to interpret negation. In this article, we build on Gubelmann and Handschuh (2022), which studies the modification of PLMs’ predictions as a function of the polarity of inputs, in English. Crucially, this test uses “self-contained” inputs ending with a masked position: depending on the polarity of a verb in the input, a particular token is either semantically ruled out or allowed at the masked position. By replicating Gubelmann and Handschuh (2022) experiments, we have uncovered flaws that weaken the conclusions that can be drawn from this test. We thus propose an improved version, the Self-Contained Neg Test, which is more controlled, more systematic, and entirely based on examples forming minimal pairs varying only in the presence or absence of verbal negation in English. When applying our test to the roberta and bert base and large models, we show that only roberta-large shows trends that match the expectations, while bert-base is mostly insensitive to negation. For all the tested models though, in a significant number of test instances the top-1 prediction remains the token that is semantically forbidden by the context, which shows how much room for improvement remains for a proper treatment of the negation phenomenon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google