Forest-of-Thought: Scaling Test-Time Compute for Enhancing LLM Reasoning

要約

大規模な言語モデル（LLM）は、さまざまな言語タスクにわたって顕著な能力を実証していますが、複雑な推論の問題を解決することは依然として重要な課題です。
チェーンオブテアの（COT）や思考のツリー（TOT）などの既存の方法は、問題の分解またはプロンプトの構造化により推論を強化しますが、通常、推論の単一のパスを実行し、欠陥のあるパスを再訪して妥協することができない場合があります。
正確さ。
この制限に対処するために、私たちは、複雑な論理的問題を解決するために集団的意思決定を活用するために複数の推論ツリーを統合する、考え方（FOT）と呼ばれる新しい推論フレームワークを提案します。
FOTは、まばらなアクティベーション戦略を採用して、最も関連性の高い推論パスを選択し、効率と精度の両方を改善します。
さらに、リアルタイムのエラー修正を可能にする動的な自己修正戦略と、正確性と計算リソースの両方を最適化するコンセンサスガイド付きの意思決定戦略を導入します。
実験結果は、FOTフレームワークとこれらの戦略と組み合わせて、LLMSの推論能力を大幅に向上させ、より正確で効率的に複雑なタスクを解決できることを示しています。
考え方。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated remarkable abilities across various language tasks, but solving complex reasoning problems remains a significant challenge. While existing methods, such as Chain-of-Thought (CoT) and Tree-of-Thought (ToT), enhance reasoning by decomposing problems or structuring prompts, they typically perform a single pass of reasoning and may fail to revisit flawed paths, compromising accuracy. To address this limitation, we propose a novel reasoning framework called Forest-of-Thought (FoT), which integrates multiple reasoning trees to leverage collective decision-making for solving complex logical problems. FoT employs sparse activation strategies to select the most relevant reasoning paths, improving both efficiency and accuracy. Additionally, we introduce a dynamic self-correction strategy that enables real-time error correction, along with consensus-guided decision-making strategies to optimize both correctness and computational resources. Experimental results demonstrate that the FoT framework, combined with these strategies, significantly enhances the reasoning capabilities of LLMs, enabling them to solve complex tasks with greater precision and efficiency.Code will be available at https://github.com/iamhankai/Forest-of-Thought.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google