Estimating the Causal Effects of Natural Logic Features in Neural NLI Models

要約

自然言語推論の問題では、言語モデルの予測に対する意味論的特徴の因果関係を厳密に評価することは困難な場合があります。
ただし、これは解釈可能性とモデル評価の両方の観点から非常に望ましい分析形式であるため、十分な構造と規則性を備えた特定の推論パターンに注目して、広く使用されている体系的な推論の失敗を特定して定量化できるようにすることが重要です。
モデル。
これに沿って、明示的な因果関係図を体系的に構築できる NLI タスクの一部を取り上げます。特に、2 つの文 (前提と仮説) にわたって、2 つの関連する単語/用語が共有されたコンテキストで出現するケースです。
この研究では、因果効果推定戦略を適用して、文脈介入（含意ラベルに対する効果は意味論的単調性特性によって媒介される）と、挿入された単語ペアに対する介入（含意ラベルに対する効果は意味論的単調性特性によって媒介される）の効果を測定します。
これらの単語の関係。)
さまざまな設定における NLP モデルの因果分析に関する関連作業に続き、NLI タスクの方法論を適応させて、無関係な変更に対する堅牢性と影響のある変更に対する感度の観点から比較モデル プロファイルを構築します。

要約(オリジナル)

Rigorous evaluation of the causal effects of semantic features on language model predictions can be hard to achieve for natural language reasoning problems. However, this is such a desirable form of analysis from both an interpretability and model evaluation perspective, that it is valuable to zone in on specific patterns of reasoning with enough structure and regularity to be able to identify and quantify systematic reasoning failures in widely-used models. In this vein, we pick a portion of the NLI task for which an explicit causal diagram can be systematically constructed: in particular, the case where across two sentences (the premise and hypothesis), two related words/terms occur in a shared context. In this work, we apply causal effect estimation strategies to measure the effect of context interventions (whose effect on the entailment label is mediated by the semantic monotonicity characteristic) and interventions on the inserted word-pair (whose effect on the entailment label is mediated by the relation between these words.). Following related work on causal analysis of NLP models in different settings, we adapt the methodology for the NLI task to construct comparative model profiles in terms of robustness to irrelevant changes and sensitivity to impactful changes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google