When Does Meaning Backfire? Investigating the Role of AMRs in NLI

要約

自然言語推論（NLI）は、前提と仮説の意味的な内容を適切に解析することに大きく依存しています。
この作業では、抽象的な意味表現（AMR）の形でセマンティック情報を追加するのに役立つかどうかを調査します。
微調整とプロンプトの両方の設定でAMRをNLIに統合する実験は、微調整におけるAMRの存在がモデルの一般化を妨げることを示しています。
しかし、アブレーション研究では、改善はセマンティック推論を支援するのではなく、表面レベルの違いを増幅することからもたらされることが明らかになりました。
この増幅は、コアの意味が保存されている場合でも、非脱出を予測するためにモデルを誤解させる可能性があります。

要約(オリジナル)

Natural Language Inference (NLI) relies heavily on adequately parsing the semantic content of the premise and hypothesis. In this work, we investigate whether adding semantic information in the form of an Abstract Meaning Representation (AMR) helps pretrained language models better generalize in NLI. Our experiments integrating AMR into NLI in both fine-tuning and prompting settings show that the presence of AMR in fine-tuning hinders model generalization while prompting with AMR leads to slight gains in \texttt{GPT-4o}. However, an ablation study reveals that the improvement comes from amplifying surface-level differences rather than aiding semantic reasoning. This amplification can mislead models to predict non-entailment even when the core meaning is preserved.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google