Neuro-Symbolic Integration Brings Causal and Reliable Reasoning Proofs

要約

さまざまな推論構造で LLM を促すと、回答とともに推論証明が生成されますが、LLM に固有の欠陥があるため、これらの証明は因果関係や信頼性が保証されません。
このような欠陥を追跡し、ニューラル LLM を使用して問題の知識を表現する一方、LLM を使用しない記号ソルバーを採用してその知識を使用して熟議推論を行う、神経記号統合手法を提案します。
具体的には、カスタマイズされたメタ インタプリタにより、推論証明の作成が可能になり、柔軟な検索戦略がサポートされます。
シンボリック ソルバーの決定論的な実行特性により、これらの推論証明は因果関係があり、信頼できることが保証されます。
経験的に、ProofWriter では、私たちの方法は精度でほぼ 2 倍、証明の類似性で 3 倍以上、CoT ベースラインを上回っています。
GSM8K 上でも、私たちの方法は精度の向上とほぼ 2 倍の証明類似性を示しています。
コードは https://github.com/DAMO-NLP-SG/CaRing でリリースされています。

要約(オリジナル)

Though prompting LLMs with various reasoning structures produces reasoning proofs along with answers, these proofs are not ensured to be causal and reliable due to the inherent defects of LLMs. Tracking such deficiencies, we present a neuro-symbolic integration method, in which a neural LLM is used to represent the knowledge of the problem while an LLM-free symbolic solver is adopted to do deliberative reasoning using the knowledge. Specifically, our customized meta-interpreters allow the production of reasoning proofs and support flexible search strategies. These reasoning proofs are ensured to be causal and reliable because of the deterministic executing nature of the symbolic solvers. Empirically, on ProofWriter, our method surpasses the CoT baseline by nearly double in accuracy and more than triple in proof similarity. On GSM8K, our method also shows accuracy improvements and nearly doubled proof similarity. Our code is released at https://github.com/DAMO-NLP-SG/CaRing

arxiv情報

提供元, 利用サービス

arxiv.jp, Google