VERUS-LM: a Versatile Framework for Combining LLMs with Symbolic Reasoning

要約

神経記号的推論に対する最近のアプローチは、大規模言語モデル (LLM) と記号ソルバーの長所を明示的に組み合わせて、複雑な推論タスクに取り組むことです。
しかし、現在のアプローチは、タスク固有のプロンプトによる汎用性の低さ、知識とクエリの分離の欠如による非効率性、推論機能の制限など、重大な制限に直面しています。
これらの欠点により、さまざまなドメインにわたる拡張性と適用性が妨げられます。
本稿では、これらの課題に対処するために設計された新しいフレームワークである VERUS-LM を紹介します。
VERUS-LM は、汎用プロンプト メカニズムを採用し、ドメイン知識をクエリから明確に分離し、さまざまな論理推論タスクを幅広くサポートします。
このフレームワークは、適応性を強化し、計算コストを削減し、最適化や制約を満たすなど、より豊富な形式の推論を可能にします。
私たちのアプローチが新しいデータセット上で多様な推論に成功し、LLM を著しく上回るパフォーマンスを示すことを示します。
さらに、私たちのシステムは、他の最先端のアプローチと比較した場合、一般的な推論ベンチマークで競争力のある結果を達成し、困難な AR-LSAT データセットではそれらを大幅に上回ります。
VERUS-LM は、ハイブリッド推論の限界を押し上げることにより、より汎用性の高い神経記号 AI システムに向けた重要な一歩を示しています。

要約(オリジナル)

A recent approach to neurosymbolic reasoning is to explicitly combine the strengths of large language models (LLMs) and symbolic solvers to tackle complex reasoning tasks. However, current approaches face significant limitations, including poor generalizability due to task-specific prompts, inefficiencies caused by the lack of separation between knowledge and queries, and restricted inferential capabilities. These shortcomings hinder their scalability and applicability across diverse domains. In this paper, we introduce VERUS-LM, a novel framework designed to address these challenges. VERUS-LM employs a generic prompting mechanism, clearly separates domain knowledge from queries, and supports a wide range of different logical reasoning tasks. This framework enhances adaptability, reduces computational cost, and allows for richer forms of reasoning, such as optimization and constraint satisfaction. We show that our approach succeeds in diverse reasoning on a novel dataset, markedly outperforming LLMs. Additionally, our system achieves competitive results on common reasoning benchmarks when compared to other state-of-the-art approaches, and significantly surpasses them on the difficult AR-LSAT dataset. By pushing the boundaries of hybrid reasoning, VERUS-LM represents a significant step towards more versatile neurosymbolic AI systems

arxiv情報

提供元, 利用サービス

arxiv.jp, Google