The Impact of Reasoning Step Length on Large Language Models

要約

思考連鎖 (CoT) は、大規模言語モデル (LLM) の推論能力を向上させるのに重要です。
ただし、CoT の有効性とプロンプトの推論ステップの長さとの相関関係は、ほとんど不明のままです。
これを明らかにするために、関係を調査するためにいくつかの実証実験を行ってきました。
具体的には、他のすべての要素を一定に保ちながら、CoT デモンストレーション内の理論的推論ステップを拡張および圧縮する実験を設計します。
以下の重要な発見がありました。
まず、結果は、プロンプトに新しい情報を追加しなくても、プロンプト内の推論ステップを長くすると、複数のデータセットにわたる LLM の推論能力が大幅に向上することを示しています。
あるいは、重要な情報を保持しながら推論ステップを短縮すると、モデルの推論能力が大幅に低下します。
この発見は、CoT プロンプトのステップ数の重要性を強調し、複雑な問題解決シナリオで LLM の可能性をより有効に活用するための実践的なガイダンスを提供します。
次に、CoT のパフォーマンスとデモンストレーションで使用される理論的根拠との関係も調査しました。
驚くべきことに、この結果は、間違った理論的根拠であっても、必要な推論の長さを維持していれば、好ましい結果をもたらす可能性があることを示しています。
第三に、推論ステップを増やすことの利点はタスクに依存することを観察しました。単純なタスクでは必要なステップが少なくなるのに対し、複雑なタスクでは推論シーケンスが長くなると大きなメリットが得られます。

要約(オリジナル)

Chain of Thought (CoT) is significant in improving the reasoning abilities of large language models (LLMs). However, the correlation between the effectiveness of CoT and the length of reasoning steps in prompts remains largely unknown. To shed light on this, we have conducted several empirical experiments to explore the relations. Specifically, we design experiments that expand and compress the rationale reasoning steps within CoT demonstrations, while keeping all other factors constant. We have the following key findings. First, the results indicate that lengthening the reasoning steps in prompts, even without adding new information into the prompt, considerably enhances LLMs’ reasoning abilities across multiple datasets. Alternatively, shortening the reasoning steps, even while preserving the key information, significantly diminishes the reasoning abilities of models. This finding highlights the importance of the number of steps in CoT prompts and provides practical guidance to make better use of LLMs’ potential in complex problem-solving scenarios. Second, we also investigated the relationship between the performance of CoT and the rationales used in demonstrations. Surprisingly, the result shows that even incorrect rationales can yield favorable outcomes if they maintain the requisite length of inference. Third, we observed that the advantages of increasing reasoning steps are task-dependent: simpler tasks require fewer steps, whereas complex tasks gain significantly from longer inference sequences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google