Instantiation-based Formalization of Logical Reasoning Tasks using Language Models and Logical Solvers

要約

推論の堅牢性は、大規模な言語モデルにとって重要な課題であり、AI駆動型の推論システムの実際的な適用性にとってそれに対処することが不可欠です。
言語モデルと論理ソルバーの厳格さを組み合わせる際の重要な課題に対処する新しいアプローチであるセマンティック自己検証（SSV）を紹介します。これは、自然言語からソルバーの正式な言語まで推論問題を正確に策定します。
SSVは、一貫性ベースのアプローチを使用して、モデルによって生成されソルバーによって検証された具体的なインスタンス化を使用して、問題の強力な抽象的な形式化を生成します。
最先端の全体的な推論の正確さを大幅に進めることに加えて、このアプローチが提示する重要な斬新さは、オープンな推論について実証するように、ケースの大幅なカバレッジよりもほぼ完璧な精度を持つ検証の特徴です。
ベンチマーク。
多くの場合、手動検証の必要性を減らすための新しいアプローチとして、このような *近くの確認 *を提案し、より信頼できる自律的なAI推論システムに近づきます。

要約(オリジナル)

Robustness of reasoning remains a significant challenge for large language models, and addressing it is essential for the practical applicability of AI-driven reasoning systems. We introduce Semantic Self-Verification (SSV), a novel approach that addresses the key challenge in combining language models with the rigor of logical solvers: to accurately formulate the reasoning problem from natural language to the formal language of the solver. SSV uses a consistency-based approach to produce strong abstract formalizations of problems using concrete instantiations that are generated by the model and verified by the solver. In addition to significantly advancing the overall reasoning accuracy over the state-of-the-art, a key novelty that this approach presents is a feature of verification that has near-perfect precision over a significant coverage of cases, as we demonstrate on open reasoning benchmarks. We propose such *near-certain reasoning* as a new approach to reduce the need for manual verification in many cases, taking us closer to more dependable and autonomous AI reasoning systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google