Can current NLI systems handle German word order? Investigating language model performance on a new German challenge set of minimal pairs

要約

英語と比較して、ドイツ語の語順はより自由であるため、自然言語推論 (NLI) にさらなる課題をもたらします。
我々は、次の特性を持つドイツ語語順の最初の敵対的 NLI データセットである WOGLI (ドイツ語推論における語順) を作成します。(i) 各前提には含意仮説と非含意仮説があります。
(ii) 前提と仮説は、語順と、格と数をマークするために必要な形態学的変更のみが異なります。
特に、各前提とその 2 つの仮説には、まったく同じ補題が含まれています。
私たちの敵対的な例では、含意を認識または拒否するために、モデルが形態学的マーカーを使用する必要があります。
私たちは、翻訳された NLI データセットがターゲット言語で必要なすべての言語現象を反映していないという事実を反映して、翻訳された NLI データに基づいて微調整された現在のドイツ語の自動エンコーディング モデルがこの課題セットに苦戦する可能性があることを示します。
また、WOGLI から派生した関連する語順現象だけでなく、データ拡張後のパフォーマンスも調べます。
私たちのデータセットは https://github.com/ireinig/wogli で公開されています。

要約(オリジナル)

Compared to English, German word order is freer and therefore poses additional challenges for natural language inference (NLI). We create WOGLI (Word Order in German Language Inference), the first adversarial NLI dataset for German word order that has the following properties: (i) each premise has an entailed and a non-entailed hypothesis; (ii) premise and hypotheses differ only in word order and necessary morphological changes to mark case and number. In particular, each premise andits two hypotheses contain exactly the same lemmata. Our adversarial examples require the model to use morphological markers in order to recognise or reject entailment. We show that current German autoencoding models fine-tuned on translated NLI data can struggle on this challenge set, reflecting the fact that translated NLI datasets will not mirror all necessary language phenomena in the target language. We also examine performance after data augmentation as well as on related word order phenomena derived from WOGLI. Our datasets are publically available at https://github.com/ireinig/wogli.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google