NELLIE: A Neuro-Symbolic Inference Engine for Grounded, Compositional, and Explainable Reasoning

要約

私たちの目標は、権威ある事実の NL コーパスに基づいた人間が解釈可能な証明ツリーによって答えがサポートされる、体系的な推論を通じて質問に答えるための現代的なアプローチです。
このようなシステムは、現代のLMの解釈可能性と幻覚、そして現在の説明方法（思考の連鎖など）の根拠の欠如という課題を軽減するのに役立つでしょう。
この論文では、Prolog ベースの推論エンジンの新しい解釈を提案します。そこでは、手作りのルールをニューラル言語モデリング、ガイド付き生成、およびセミパラメトリック高密度検索の組み合わせに置き換えます。
私たちの実装である NELLIE は、含意ツリー証明検索として完全に解釈可能なエンドツーエンドの根拠のある QA を実証する最初のシステムであり、テキストから真実であることがわかっている事実を説明する以前の研究を超えています。
実験では、NELLIE は知識に基づいた説明を生成しながら、同様のサイズの最先端の推論器 [Tafjord et al., 2022] よりも優れたパフォーマンスを示しました。
また、NELLIE が推論を導くために半構造化コーパスと NL テキスト コーパスの両方を活用できることもわかりました。
これらを総合すると、現代のニューラル手法と伝統的な記号推論の両方の利点を共同で享受する新しい方法が示唆されます。

要約(オリジナル)

Our goal is a modern approach to answering questions via systematic reasoning where answers are supported by human interpretable proof trees grounded in an NL corpus of authoritative facts. Such a system would help alleviate the challenges of interpretability and hallucination with modern LMs, and the lack of grounding of current explanation methods (e.g., Chain-of-Thought). This paper proposes a new take on Prolog-based inference engines, where we replace handcrafted rules with a combination of neural language modeling, guided generation, and semiparametric dense retrieval. Our implementation, NELLIE, is the first system to demonstrate fully interpretable, end-to-end grounded QA as entailment tree proof search, going beyond earlier work explaining known-to-be-true facts from text. In experiments, NELLIE outperforms a similar-sized state-of-the-art reasoner [Tafjord et al., 2022] while producing knowledge-grounded explanations. We also find NELLIE can exploit both semi-structured and NL text corpora to guide reasoning. Together these suggest a new way to jointly reap the benefits of both modern neural methods and traditional symbolic reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google