Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods

要約

思考連鎖 (CoT) プロンプトとその変形は、事前トレーニングされた大規模言語モデル (LLM) を使用して複数ステップの推論問題を解決する効果的な方法として人気を集めています。
この研究では、統計的推定の観点から CoT プロンプティングを分析し、そのサンプルの複雑さの包括的な特徴付けを提供します。
この目的を達成するために、推論プロセスをカプセル化するマルチステップの潜在変数モデルを導入します。潜在変数はタスク情報をエンコードします。
このフレームワークの下で、事前トレーニング データセットが十分に大きい場合、CoT プロンプトによって形成された推定量がベイズ推定量と同等であることを示します。
この推定器は、プロンプト内のデモンストレーション例から推論された事後分布を集約することにより、複数ステップの推論問題を効果的に解決します。
さらに、CoT 推定器の統計誤差が 2 つの主な構成要素に分解できることを証明します。(i) CoT プロンプトを使用して真のタスクを推論することで生じるプロンプト誤差、および (ii) 事前トレーニングされた LLM の統計誤差。
適切な仮定の下では、デモンストレーションの数が増加するにつれて、プロンプトエラーが指数関数的にゼロまで減衰することを確立します。
さらに、事前学習済み LLM の近似誤差と一般化誤差を明示的に特徴付けます。
特に、変換器ブロックの数が指数関数的に減少する誤差を伴う多段階推論問題のターゲット分布を近似する変換器モデルを構築します。
私たちの分析は、Self-Consistent CoT、Tree-of-Thought、Selection-Inference などの CoT の他の変種にも拡張されており、これらの手法の有効性について幅広い視点を提供しています。
理論的発見を検証するための数値実験も提供します。

要約(オリジナル)

Chain-of-Thought (CoT) prompting and its variants have gained popularity as effective methods for solving multi-step reasoning problems using pretrained large language models (LLMs). In this work, we analyze CoT prompting from a statistical estimation perspective, providing a comprehensive characterization of its sample complexity. To this end, we introduce a multi-step latent variable model that encapsulates the reasoning process, where the latent variable encodes the task information. Under this framework, we demonstrate that when the pretraining dataset is sufficiently large, the estimator formed by CoT prompting is equivalent to a Bayesian estimator. This estimator effectively solves the multi-step reasoning problem by aggregating a posterior distribution inferred from the demonstration examples in the prompt. Moreover, we prove that the statistical error of the CoT estimator can be decomposed into two main components: (i) a prompting error, which arises from inferring the true task using CoT prompts, and (ii) the statistical error of the pretrained LLM. We establish that, under appropriate assumptions, the prompting error decays exponentially to zero as the number of demonstrations increases. Additionally, we explicitly characterize the approximation and generalization errors of the pretrained LLM. Notably, we construct a transformer model that approximates the target distribution of the multi-step reasoning problem with an error that decreases exponentially in the number of transformer blocks. Our analysis extends to other variants of CoT, including Self-Consistent CoT, Tree-of-Thought, and Selection-Inference, offering a broad perspective on the efficacy of these methods. We also provide numerical experiments to validate the theoretical findings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google