Decomposing Natural Logic Inferences in Neural NLI

要約

ニューラル NLI モデルとその推論戦略を解釈するという目的で、これらのモデルが自然論理の中心となる重要な意味論的特徴 (単調性と概念包含) を捉えているかどうかを調査する系統的な調査研究を実行します。
下向きの単調なコンテキストで有効な推論を正しく識別することは、否定範囲や一般化された数量詞などの言語現象を包含する NLI パフォーマンスの障害となることが知られています。
この困難を理解するために、コンテキストの特性として単調性を強調し、モデルが意思決定プロセスの中間であるコンテキストの埋め込みで単調性情報をどの程度捕捉するかを調べます。
プローブパラダイムの最近の進歩を利用して、さまざまなモデル間で単調性特徴の存在を比較します。
ベンチマークで高いスコアを達成する一般的な NLI モデルの表現では、単調性情報が特に弱いことがわかり、微調整戦略に基づくこれらのモデルへの以前の改善により、チャレンジ セットでのパフォーマンスの向上とともに、より強力な単調性機能が導入されたことが観察されました。

要約(オリジナル)

In the interest of interpreting neural NLI models and their reasoning strategies, we carry out a systematic probing study which investigates whether these models capture the crucial semantic features central to natural logic: monotonicity and concept inclusion. Correctly identifying valid inferences in downward-monotone contexts is a known stumbling block for NLI performance, subsuming linguistic phenomena such as negation scope and generalized quantifiers. To understand this difficulty, we emphasize monotonicity as a property of a context and examine the extent to which models capture monotonicity information in the contextual embeddings which are intermediate to their decision making process. Drawing on the recent advancement of the probing paradigm, we compare the presence of monotonicity features across various models. We find that monotonicity information is notably weak in the representations of popular NLI models which achieve high scores on benchmarks, and observe that previous improvements to these models based on fine-tuning strategies have introduced stronger monotonicity features together with their improved performance on challenge sets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google