Transformers Learn to Implement Multi-step Gradient Descent with Chain of Thought

要約

Chain of Thinence（Cot）プロンプトは、特に算術および推論タスクにおいて、大規模な言語モデル（LLMS）のパフォーマンスを大幅に改善することが示されています。
COTの顕著な経験的成功と表現率の向上におけるその理論的利点にもかかわらず、COTトレーニングの根底にあるメカニズムはほとんど未踏のままです。
このホワイトペーパーでは、線形回帰のためのコンテキスト内の体重予測タスクに関するCOT目標を介したトランスのトレーニングダイナミクスを研究します。
COTのない1層の線形トランスは、勾配降下（GD）の単一ステップのみを実装でき、接地真実の重量ベクターの回復に失敗することを証明しますが、COTプロンプトを備えた変圧器はマルチステップGDを自動測定的に実行し、ほぼ抽出回収を達成することを学ぶことができます。
さらに、訓練されたトランスが目に見えないデータに効果的に一般化することを示します。
私たちの手法により、ループしたトランスは、線形回帰のコンテキスト学習をループすることなく、変圧器と比較して最終性能を大幅に改善することも示しています。
経験的には、COTプロンプトが大幅なパフォーマンスの改善をもたらすことを実証します。

要約(オリジナル)

Chain of Thought (CoT) prompting has been shown to significantly improve the performance of large language models (LLMs), particularly in arithmetic and reasoning tasks, by instructing the model to produce intermediate reasoning steps. Despite the remarkable empirical success of CoT and its theoretical advantages in enhancing expressivity, the mechanisms underlying CoT training remain largely unexplored. In this paper, we study the training dynamics of transformers over a CoT objective on an in-context weight prediction task for linear regression. We prove that while a one-layer linear transformer without CoT can only implement a single step of gradient descent (GD) and fails to recover the ground-truth weight vector, a transformer with CoT prompting can learn to perform multi-step GD autoregressively, achieving near-exact recovery. Furthermore, we show that the trained transformer effectively generalizes on the unseen data. With our technique, we also show that looped transformers significantly improve final performance compared to transformers without looping in the in-context learning of linear regression. Empirically, we demonstrate that CoT prompting yields substantial performance improvements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google