A Differentiable Integer Linear Programming Solver for Explanation-Based Natural Language Inference

要約

整数線形計画法（ILP）は、自然言語推論（NLI）のための正確な構造的・意味的制約を符号化するための形式論として提案されてきた。しかし、従来のILPフレームワークは非微分可能であり、ディープラーニングに基づく連続的な言語表現の統合に重大な課題を投げかけている。本論文では、Diff-Comb Explainerと名付けられた、Differentiable BlackBox Combinatorial Solvers (DBCS)に基づく説明ベースのNLIのためのニューロシンボリックアーキテクチャという新しいアプローチを紹介する。既存のニューロシンボリックソルバーとは異なり、Diff-Comb Explainerは意味制約の連続的な緩和を必要としないため、神経表現を直接、より正確かつ効率的にILP定式化に組み込むことができる。我々の実験では、Diff-Comb Explainerが従来のILPソルバー、ニューロシンボリック・ブラックボックス・ソルバー、Transformerベースのエンコーダーと比較して優れたパフォーマンスを達成することが実証された。さらに、より深い分析により、Diff-Comb Explainerは構築された説明の精度、一貫性、忠実性を大幅に改善できることが明らかになり、複雑な領域における説明可能で透明なNLIのためのニューロシンボリックアーキテクチャの研究に新たな可能性が開かれた。

要約(オリジナル)

Integer Linear Programming (ILP) has been proposed as a formalism for encoding precise structural and semantic constraints for Natural Language Inference (NLI). However, traditional ILP frameworks are non-differentiable, posing critical challenges for the integration of continuous language representations based on deep learning. In this paper, we introduce a novel approach, named Diff-Comb Explainer, a neuro-symbolic architecture for explanation-based NLI based on Differentiable BlackBox Combinatorial Solvers (DBCS). Differently from existing neuro-symbolic solvers, Diff-Comb Explainer does not necessitate a continuous relaxation of the semantic constraints, enabling a direct, more precise, and efficient incorporation of neural representations into the ILP formulation. Our experiments demonstrate that Diff-Comb Explainer achieves superior performance when compared to conventional ILP solvers, neuro-symbolic black-box solvers, and Transformer-based encoders. Moreover, a deeper analysis reveals that Diff-Comb Explainer can significantly improve the precision, consistency, and faithfulness of the constructed explanations, opening new opportunities for research on neuro-symbolic architectures for explainable and transparent NLI in complex domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL