Why Can GPT Learn In-Context? Language Models Implicitly Perform Gradient Descent as Meta-Optimizers

要約

大規模な事前トレーニング済み言語モデルは、驚くべきインコンテキスト学習 (ICL) 能力を示しています。
デモ用の入力とラベルのペアをいくつか使用すると、パラメーターを更新せずに、目に見えない入力のラベルを予測できます。
パフォーマンスでは大成功を収めたにもかかわらず、その動作メカニズムは依然として未解決の疑問のままです。
この論文では、言語モデルをメタオプティマイザーとして説明し、コンテキスト内学習を暗黙的な微調整として理解します。
理論的には、Transformer の注意には二重形式の勾配降下法があることがわかります。
それに加えて、ICL を次のように理解します。GPT はまずデモンストレーションの例に従ってメタ グラデーションを生成し、次にこれらのメタ グラデーションを元の GPT に適用して ICL モデルを構築します。
私たちは、コンテキスト内学習と実際のタスクに対する明示的な微調整の動作を包括的に比較して、理解をサポートする経験的証拠を提供します。
実験結果は、コンテキスト内学習が複数の観点から明示的な微調整と同様に動作することを示しています。
Transformer のアテンションと勾配降下法の二重形式からインスピレーションを得て、運動量を伴う勾配降下法との類推により、運動量ベースのアテンションを設計します。
バニラの注意よりも改善されたパフォーマンスは、別の観点からの理解をさらに裏付け、さらに重要なことに、将来のモデル設計に私たちの理解を活用できる可能性を示しています。
コードは \url{https://aka.ms/icl} で入手できます。

要約(オリジナル)

Large pretrained language models have shown surprising in-context learning (ICL) ability. With a few demonstration input-label pairs, they can predict the label for an unseen input without parameter updates. Despite the great success in performance, its working mechanism still remains an open question. In this paper, we explain language models as meta-optimizers and understand in-context learning as implicit finetuning. Theoretically, we figure out that Transformer attention has a dual form of gradient descent. On top of it, we understand ICL as follows: GPT first produces meta-gradients according to the demonstration examples, and then these meta-gradients are applied to the original GPT to build an ICL model. We comprehensively compare the behaviors of in-context learning and explicit finetuning on real tasks to provide empirical evidence that supports our understanding. Experimental results show that in-context learning behaves similarly to explicit finetuning from multiple perspectives. Inspired by the dual form between Transformer attention and gradient descent, we design a momentum-based attention by analogy with gradient descent with momentum. The improved performance over vanilla attention further supports our understanding from another perspective, and more importantly, shows the potential to utilize our understanding for future model design. The code is available at \url{https://aka.ms/icl}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google