Verification and Refinement of Natural Language Explanations through LLM-Symbolic Theorem Proving

要約

自然言語の説明は、説明可能な複数ステップの自然言語推論 (NLI) モデルを評価するための代用となっています。
ただし、NLI の説明の妥当性を評価することは、通常、適切なデータセットのクラウドソーシングを必要とし、時間がかかり、論理エラーが発生しやすいプロセスであるため、困難です。
既存の制限に対処するために、この論文では、大規模言語モデル (LLM) と定理証明者 (TP) の統合による自然言語説明の検証と改良について調査します。
具体的には、説明文を生成して形式化し、NLI の潜在的な推論戦略を提案するために、LLM で TP を拡張する、説明リファイナーという神経記号フレームワークを紹介します。
次に、TP は、説明の論理的妥当性を正式に保証し、その後の改善のためのフィードバックを生成するために使用されます。
説明リファイナーを共同で使用して、最先端の LLM の説明推論、自動形式化、およびエラー修正メカニズムを評価し、さまざまなドメインの変数の複雑さに関する人間による注釈付きの説明の品質を自動的に向上させる方法を示します。

要約(オリジナル)

Natural language explanations have become a proxy for evaluating explainable and multi-step Natural Language Inference (NLI) models. However, assessing the validity of explanations for NLI is challenging as it typically involves the crowd-sourcing of apposite datasets, a process that is time-consuming and prone to logical errors. To address existing limitations, this paper investigates the verification and refinement of natural language explanations through the integration of Large Language Models (LLMs) and Theorem Provers (TPs). Specifically, we present a neuro-symbolic framework, named Explanation-Refiner, that augments a TP with LLMs to generate and formalise explanatory sentences and suggest potential inference strategies for NLI. In turn, the TP is employed to provide formal guarantees on the logical validity of the explanations and to generate feedback for subsequent improvements. We demonstrate how Explanation-Refiner can be jointly used to evaluate explanatory reasoning, autoformalisation, and error correction mechanisms of state-of-the-art LLMs as well as to automatically enhance the quality of human-annotated explanations of variable complexity in different domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google