Enhancing Systematic Decompositional Natural Language Inference Using Informal Logic

要約

現代の言語モデルは、脆弱な形式論理に依存することなく、直感的で証明のようなテキスト含意ツリーの構築と評価など、テキストを使用した構造化推論の新しい機会を可能にします。
しかし、この方向への進歩は、有効な構成的含意が何であるかを決定するための明確なプロトコルが長年欠如していることによって妨げられてきました。
この欠如により、データセットにノイズが多くなり、最新の神経記号エンジンによるパフォーマンスの向上が制限されます。
これらの問題に対処するために、私たちは分解含意データセットに注釈を付けるための一貫した理論に基づいたアプローチを策定し、LLM ベースのテキスト推論に対するその影響を評価します。
結果として得られたデータセットである RDTE (Recognizing Decompositional Textual Entailment) は、以前の分解含意データセットよりも大幅に高い内部一貫性 (+9%) を持っていることがわかり、これは、RDTE が明確なテキスト含意を形成するという長年の問題において重要な前進であることを示唆しています。
含意を識別するためのプロトコル。
また、知識蒸留によって RDTE 指向の含意分類器をトレーニングし、それを最新の神経記号推論エンジンに採用すると、他の含意分類器ベースラインよりも結果 (精度と証明品質の両方) が大幅に向上することもわかり、テキストに対するこの進歩の実際的な利点が示されています。
推論。

要約(オリジナル)

Contemporary language models enable new opportunities for structured reasoning with text, such as the construction and evaluation of intuitive, proof-like textual entailment trees without relying on brittle formal logic. However, progress in this direction has been hampered by a long-standing lack of a clear protocol for determining what valid compositional entailment is. This absence causes noisy datasets and limited performance gains by modern neuro-symbolic engines. To address these problems, we formulate a consistent and theoretically grounded approach to annotating decompositional entailment datasets, and evaluate its impact on LLM-based textual inference. We find that our resulting dataset, RDTE (Recognizing Decompositional Textual Entailment), has a substantially higher internal consistency (+9%) than prior decompositional entailment datasets, suggesting that RDTE is a significant step forward in the long-standing problem of forming a clear protocol for discerning entailment. We also find that training an RDTE-oriented entailment classifier via knowledge distillation and employing it in a modern neuro-symbolic reasoning engine significantly improves results (both accuracy and proof quality) over other entailment classifier baselines, illustrating the practical benefit of this advance for textual inference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google