Synthetic Dataset for Evaluating Complex Compositional Knowledge for Natural Language Inference

要約

複雑な構成知識を伴う文 (SICCK) と呼ばれる合成データセットと、論理の構成性を理解するために自然言語推論 (NLI) モデルのパフォーマンスを調査する新しい分析を紹介します。
SICK データセット (Marelli et al., 2014) の 15 の例を変更することで、1,304 の文ペアを生成します。
この目的を達成するために、自然論理 (NL) (MacCartney、2009) の普遍的数量詞、存在数量詞、否定、およびその他の概念修飾子に対応する修飾語のセットを使用して、元のテキストを変更します。
これらのフレーズを使用して、前提と仮説の主語、動詞、目的語の部分を変更します。
最後に、これらの変更されたテキストに、NL ルールに従って対応する含意ラベルで注釈を付けます。
ゼロショット シナリオと微調整シナリオの両方で、構造的および意味論的構成の変化がニューラル NLI モデルによってどの程度うまく捕捉されるかについて予備検証を行います。
ゼロショット設定の下での NLI モデルのパフォーマンスは、特に否定および存在量指定子を含む修飾文の場合、低いことがわかりました。
このデータセットを微調整した後、モデルは否定、存在、普遍的な修飾子に対して引き続きパフォーマンスが低下していることが観察されます。

要約(オリジナル)

We introduce a synthetic dataset called Sentences Involving Complex Compositional Knowledge (SICCK) and a novel analysis that investigates the performance of Natural Language Inference (NLI) models to understand compositionality in logic. We produce 1,304 sentence pairs by modifying 15 examples from the SICK dataset (Marelli et al., 2014). To this end, we modify the original texts using a set of phrases – modifiers that correspond to universal quantifiers, existential quantifiers, negation, and other concept modifiers in Natural Logic (NL) (MacCartney, 2009). We use these phrases to modify the subject, verb, and object parts of the premise and hypothesis. Lastly, we annotate these modified texts with the corresponding entailment labels following NL rules. We conduct a preliminary verification of how well the change in the structural and semantic composition is captured by neural NLI models, in both zero-shot and fine-tuned scenarios. We found that the performance of NLI models under the zero-shot setting is poor, especially for modified sentences with negation and existential quantifiers. After fine-tuning this dataset, we observe that models continue to perform poorly over negation, existential and universal modifiers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google