Deductive Verification of Chain-of-Thought Reasoning

要約

大規模言語モデル (LLM) は、さまざまな推論タスクを実行する際に、思考連鎖 (CoT) プロンプトから大きな恩恵を受けます。
CoT を使用すると、モデルはより包括的な推論プロセスを生成できるようになりますが、中間の推論ステップに重点が置かれると、幻覚や蓄積されたエラーが誤って発生する可能性があり、その結果、複雑な推論タスクを解決するモデルの能力が制限されます。
人間がタスクを解決するために注意深く細心の注意を払って演繹的論理的推論プロセスに取り組む方法に触発され、私たちは言語モデルが明示的かつ厳密な演繹的推論を実行できるようにするとともに、自己検証を通じて推論プロセスの信頼性を確保できるようにすることを目指しています。
ただし、演​​繹的推論プロセス全体の妥当性を直接検証することは、ChatGPT のような高度なモデルであっても困難です。
これを考慮して、推論検証プロセスを一連の段階的なサブプロセスに分解し、それぞれが必要なコンテキストと前提のみを受け取ることを提案します。
この手順を容易にするために、私たちは自然言語ベースの演繹推論形式である Natural Program を提案します。
私たちのアプローチにより、モデルは、後続のステップが前のステップに厳密に基づいた正確な推論ステップを生成できるようになります。
また、言語モデルが段階的に推論の自己検証を実行できるようになります。
この検証プロセスを演繹的推論の各段階に統合することで、生成された推論ステップの厳密性と信頼性が大幅に向上します。
このプロセスに沿って、複雑な推論タスクにおける解答の正確性も向上します。
コードは https://github.com/lz1oceani/verify_cot で公開されます。

要約(オリジナル)

Large Language Models (LLMs) significantly benefit from Chain-of-Thought (CoT) prompting in performing various reasoning tasks. While CoT allows models to produce more comprehensive reasoning processes, its emphasis on intermediate reasoning steps can inadvertently introduce hallucinations and accumulated errors, thereby limiting models’ ability to solve complex reasoning tasks. Inspired by how humans engage in careful and meticulous deductive logical reasoning processes to solve tasks, we seek to enable language models to perform explicit and rigorous deductive reasoning, and also ensure the trustworthiness of their reasoning process through self-verification. However, directly verifying the validity of an entire deductive reasoning process is challenging, even with advanced models like ChatGPT. In light of this, we propose to decompose a reasoning verification process into a series of step-by-step subprocesses, each only receiving their necessary context and premises. To facilitate this procedure, we propose Natural Program, a natural language-based deductive reasoning format. Our approach enables models to generate precise reasoning steps where subsequent steps are more rigorously grounded on prior steps. It also empowers language models to carry out reasoning self-verification in a step-by-step manner. By integrating this verification process into each deductive reasoning stage, we significantly enhance the rigor and trustfulness of generated reasoning steps. Along this process, we also improve the answer correctness on complex reasoning tasks. Code will be released at https://github.com/lz1oceani/verify_cot.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google