Proof of Thought : Neurosymbolic Program Synthesis allows Robust and Interpretable Reasoning

要約

大規模言語モデル (LLM) は自然言語処理に革命をもたらしましたが、特に新しいドメインや複雑な論理シーケンスでは一貫性のない推論に苦労しています。
この研究では、LLM 出力の信頼性と透明性を強化するフレームワークである Proof of Thought を導入します。
私たちのアプローチは、定理証明者の精査のために、カスタム インタプリタを使用して LLM 出力を一次論理構造に変換し、LLM で生成されたアイデアを形式的論理検証と橋渡しします。
私たちのメソッドの中心となるのは、中間的な JSON ベースのドメイン固有言語であり、設計により正確な論理構造と直感的な人間の概念のバランスをとります。
このハイブリッド表現により、LLM 推論プロセスの厳密な検証と人間による理解が容易になります。
主な貢献には、論理的整合性を強化するためのソート管理を備えた堅牢な型システム、事実と推論の知識を明確に区別するためのルールの明示的な表現、およびさまざまなドメイン固有のアプリケーションへの簡単な拡張を可能にする柔軟なアーキテクチャが含まれます。
私たちは、StrategyQA と新しいマルチモーダル推論タスクのベンチマークを通じて Proof of Thought の有効性を実証し、オープンエンド シナリオでのパフォーマンスの向上を示します。
私たちの技術は、検証可能で解釈可能な結果を​​提供することで、AI システムの説明責任に対する重要なニーズに対応し、リスクの高い領域における人間による監視の基盤を確立します。

要約(オリジナル)

Large Language Models (LLMs) have revolutionized natural language processing, yet they struggle with inconsistent reasoning, particularly in novel domains and complex logical sequences. This research introduces Proof of Thought, a framework that enhances the reliability and transparency of LLM outputs. Our approach bridges LLM-generated ideas with formal logic verification, employing a custom interpreter to convert LLM outputs into First Order Logic constructs for theorem prover scrutiny. Central to our method is an intermediary JSON-based Domain-Specific Language, which by design balances precise logical structures with intuitive human concepts. This hybrid representation enables both rigorous validation and accessible human comprehension of LLM reasoning processes. Key contributions include a robust type system with sort management for enhanced logical integrity, explicit representation of rules for clear distinction between factual and inferential knowledge, and a flexible architecture that allows for easy extension to various domain-specific applications. We demonstrate Proof of Thought’s effectiveness through benchmarking on StrategyQA and a novel multimodal reasoning task, showing improved performance in open-ended scenarios. By providing verifiable and interpretable results, our technique addresses critical needs for AI system accountability and sets a foundation for human-in-the-loop oversight in high-stakes domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google