On the Training Convergence of Transformers for In-Context Classification of Gaussian Mixtures

要約

トランスは、実際にはコンテキスト学習（ICL）の印象的な能力を実証していますが、トランスがICLを実行できるようにする基礎となるメカニズムの理論的理解はまだ初期段階です。
この作業は、コンテキスト内分類タスクのためのトランスのトレーニングダイナミクスを理論的に研究することを目的としています。
特定の仮定の下でガウス混合物のコンテキスト内分類のために、勾配降下を介して訓練された単一層変圧器が線形速度でグローバルに最適なモデルに収束することを実証します。
さらに、トレーニングされた変圧器のICL推論エラーに対するトレーニングとテストプロンプトの長さの影響を定量化します。
トレーニングとテストプロンプトの長さが十分に大きい場合、訓練されたトランスの予測がラベルのグラウンドトゥルース分布に近づくことを示します。
実験結果は、理論的発見を裏付けています。

要約(オリジナル)

Although transformers have demonstrated impressive capabilities for in-context learning (ICL) in practice, theoretical understanding of the underlying mechanism that allows transformers to perform ICL is still in its infancy. This work aims to theoretically study the training dynamics of transformers for in-context classification tasks. We demonstrate that, for in-context classification of Gaussian mixtures under certain assumptions, a single-layer transformer trained via gradient descent converges to a globally optimal model at a linear rate. We further quantify the impact of the training and testing prompt lengths on the ICL inference error of the trained transformer. We show that when the lengths of training and testing prompts are sufficiently large, the prediction of the trained transformer approaches the ground truth distribution of the labels. Experimental results corroborate the theoretical findings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google