LLM-ARC: Enhancing LLMs with an Automated Reasoning Critic

要約

大規模言語モデル (LLM) を自動推論クリティック (ARC) と組み合わせることで、その論理推論機能を強化するように設計された神経記号フレームワークである LLM-ARC を紹介します。
LLM-ARC は、アクター-クリティック方式を採用しており、LLM アクターがセマンティックな正しさのテストとともに宣言的ロジック プログラムを生成する一方、自動推論クリティックがコードを評価し、テストを実行し、テストの失敗に関するフィードバックを提供して反復改良を行います。
Answer Set Programming (ASP) を使用して実装された LLM-ARC は、複雑な論理推論機能をテストする FOLIO ベンチマークで 88.32% という新しい最先端の精度を達成しました。
私たちの実験では、LLM のみのベースラインに比べて大幅な改善が示されており、ロジック テストの生成と反復的な自己調整の重要性が強調されています。
完全に自動化された自己教師付きトレーニング ループを使用して最良の結果を達成します。このループでは、批評家のフィードバックを使用してエンドツーエンドのダイアログ トレースでアクターがトレーニングされます。
潜在的な機能強化について説明し、詳細なエラー分析を提供して、複雑な自然言語推論タスクに対する LLM-ARC の堅牢性と有効性を示します。

要約(オリジナル)

We introduce LLM-ARC, a neuro-symbolic framework designed to enhance the logical reasoning capabilities of Large Language Models (LLMs), by combining them with an Automated Reasoning Critic (ARC). LLM-ARC employs an Actor-Critic method where the LLM Actor generates declarative logic programs along with tests for semantic correctness, while the Automated Reasoning Critic evaluates the code, runs the tests and provides feedback on test failures for iterative refinement. Implemented using Answer Set Programming (ASP), LLM-ARC achieves a new state-of-the-art accuracy of 88.32% on the FOLIO benchmark which tests complex logical reasoning capabilities. Our experiments demonstrate significant improvements over LLM-only baselines, highlighting the importance of logic test generation and iterative self-refinement. We achieve our best result using a fully automated self-supervised training loop where the Actor is trained on end-to-end dialog traces with Critic feedback. We discuss potential enhancements and provide a detailed error analysis, showcasing the robustness and efficacy of LLM-ARC for complex natural language reasoning tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google