Strategic Chain-of-Thought: Guiding Accurate Reasoning in LLMs through Strategy Elicitation

要約

思考連鎖 (CoT) パラダイムは、大規模言語モデル (LLM) の推論機能を強化するための重要なアプローチとして登場しました。
ただし、CoT 手法は広く採用され成功しているにもかかわらず、生成された推論パスの品質を一貫して保証できないため、不安定性を示すことが多く、推論パフォーマンスが最適化されていません。
この課題に対処するために、私たちは \textbf{戦略的思考連鎖} (SCoT) を提案します。これは、中間推論ステップを生成する前に戦略的知識を統合することで LLM のパフォーマンスを向上させるように設計された新しい方法論です。
SCoT は、単一のプロンプト内で 2 段階のアプローチを採用しています。まず、効果的な問題解決戦略を導き出し、次にそれを使用して、高品質の CoT パスと最終的な回答を生成します。
8 つの困難な推論データセットにわたる実験では、Llama3-8b モデルを使用した場合、それぞれ GSM8K データセットで 21.05\%、Tracking\_Objects データセットで 24.13\% の増加など、大幅な改善が見られました。
さらに、SCoT フレームワークを拡張して、自動的に照合されたデモンストレーションを備えた数ショット手法を開発し、さらに強力な結果をもたらします。
これらの発見は、SCoT の有効性を強調し、複雑な推論タスクにおける LLM パフォーマンスを大幅に向上させる可能性を強調しています。

要約(オリジナル)

The Chain-of-Thought (CoT) paradigm has emerged as a critical approach for enhancing the reasoning capabilities of large language models (LLMs). However, despite their widespread adoption and success, CoT methods often exhibit instability due to their inability to consistently ensure the quality of generated reasoning paths, leading to sub-optimal reasoning performance. To address this challenge, we propose the \textbf{Strategic Chain-of-Thought} (SCoT), a novel methodology designed to refine LLM performance by integrating strategic knowledge prior to generating intermediate reasoning steps. SCoT employs a two-stage approach within a single prompt: first eliciting an effective problem-solving strategy, which is then used to guide the generation of high-quality CoT paths and final answers. Our experiments across eight challenging reasoning datasets demonstrate significant improvements, including a 21.05\% increase on the GSM8K dataset and 24.13\% on the Tracking\_Objects dataset, respectively, using the Llama3-8b model. Additionally, we extend the SCoT framework to develop a few-shot method with automatically matched demonstrations, yielding even stronger results. These findings underscore the efficacy of SCoT, highlighting its potential to substantially enhance LLM performance in complex reasoning tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google