Why Can Large Language Models Generate Correct Chain-of-Thoughts?

要約

この論文では、大規模言語モデル (LLM) の機能を詳しく掘り下げ、特に思考連鎖プロンプトの理論的理解を進めることに焦点を当てます。
私たちは、LLM を効果的に誘導して一貫した思考の連鎖を生成する方法を調査します。
これを達成するために、自然言語生成用に調整された 2 レベルの階層グラフィック モデルを導入します。
このフレームワーク内で、LLM によって生成された思考連鎖の可能性を、真の言語から生じた思考連鎖と比較して測定する、説得力のある幾何学的な収束率を確立します。
私たちの発見は、LLM が正しい一連の思考を生成する能力を理論的に正当化し、推論スキルを必要とするタスクにおけるパフォーマンスの向上を (潜在的に) 説明するものです。

要約(オリジナル)

This paper delves into the capabilities of large language models (LLMs), specifically focusing on advancing the theoretical comprehension of chain-of-thought prompting. We investigate how LLMs can be effectively induced to generate a coherent chain of thoughts. To achieve this, we introduce a two-level hierarchical graphical model tailored for natural language generation. Within this framework, we establish a compelling geometrical convergence rate that gauges the likelihood of an LLM-generated chain of thoughts compared to those originating from the true language. Our findings provide a theoretical justification for the ability of LLMs to produce the correct sequence of thoughts (potentially) explaining performance gains in tasks demanding reasoning skills.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google