Thought Space Explorer: Navigating and Expanding Thought Space for Large Language Model Reasoning

要約

大規模言語モデル (LLM) の最近の進歩により、複雑な推論タスクの処理における可能性が実証されました。これは通常、複数ステップの思考で問題を解決するようにモデルを導く思考連鎖を構築することによって達成されます。
しかし、既存の手法は、以前に検討された解決策の空間に限定されたままであることが多く、そのため、LLM の認知範囲内の重大な盲点を見落としています。
これらの問題に対処するために、私たちは思考空間エクスプローラー (TSE) を設計します。これは、LLM が思考の盲点を探索できるように思考構造を拡張および最適化するための新しいフレームワークです。
TSE は、さまざまに設計された戦略を使用して、元の思考構造に基づいて新しい推論ステップと分岐を生成することで、思考空間を広げ、LLM 推論の盲点の影響を軽減します。
複数レベルの推論タスクに関する実験結果は、TSE の有効性を示しています。
また、構造化された拡張的な思考が LLM 推論能力の可能性を解き放つのにどのように貢献できるかを理解するために、広範な分析も行っています。

要約(オリジナル)

Recent advances in large language models (LLMs) have demonstrated their potential in handling complex reasoning tasks, which are usually achieved by constructing a thought chain to guide the model to solve the problem with multi-step thinking. However, existing methods often remain confined to previously explored solution spaces and thus overlook the critical blind spot within LLMs’ cognitive range. To address these issues, we design the Thought Space Explorer (TSE), a novel framework to expand and optimize thought structures to guide LLMs to explore their blind spots of thinking. By generating new reasoning steps and branches based on the original thought structure with various designed strategies, TSE broadens the thought space and alleviates the impact of blind spots for LLM reasoning. Experimental results on multiple levels of reasoning tasks demonstrate the efficacy of TSE. We also conduct extensive analysis to understand how structured and expansive thought can contribute to unleashing the potential of LLM reasoning capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google