Do LLMs Really Think Step-by-step In Implicit Reasoning?

要約

思考連鎖が複雑なタスクにおける LLM のパフォーマンスを著しく向上させることができることはよく知られています。
ただし、推論速度が遅くなり、計算コストが高くなるため、多くの研究では、明示的に中間ステップを生成するための LLM を必要としない暗黙的 CoT の使用が試みられています。
ただし、目に見えない推論プロセスでは、暗黙的な CoT が明示的な CoT と本当に等しい可能性があるのではないかという疑問が残ります。
そこで本研究では、実験を通じてこの疑問に取り組みます。
モデルがトレーニングされたとき、または暗黙的な CoT の実行を求められたときに、モデルの隠れ状態から中間ステップの情報を調べます。
この結果は驚くべきことに、LLM はプロンプトが出されても中間ステップについてほとんど考えないことを示しており、厳密なステップごとの推論ではなく経験にのみ依存している可能性があることを示唆しています。
しかし、トレーニングすると、確かに中間ステップを計算します。
さらに、どちらの状況でも、暗黙的 CoT の使用の効果は問題の形式の影響を受けやすいことがわかり、暗黙的 CoT の現状の欠陥が再確認されました。

要約(オリジナル)

It has been well-known that Chain-of-Thought can remarkably enhance LLMs’ performance on complex tasks. However, because it also introduces slower inference speeds and higher computational costs, many researches have attempted to use implicit CoT, which does not need LLMs to explicitly generate the intermediate steps. However, the invisible reasoning process leaves us a doubt that, can implicit CoT really be equal to explicit CoT? Therefore, in this study, we address this question through experiments. We probe the information of intermediate steps from the model’s hidden states when it is either trained or prompted to perform implicit CoT. The results surprisingly indicate that when prompted, LLMs hardly think about intermediate steps, suggesting they may just rely on experience rather than strict step-by-step reasoning. But when trained, they indeed calculate intermediate steps. Moreover, in both situations, we find the effect of using implicit CoT is susceptible to the format of the problem, reaffirming the current deficiency of implicit CoT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google