Understanding In-Context Learning in Transformers and LLMs by Learning to Learn Discrete Functions

要約

インコンテキスト学習現象を理解するために、最近の研究では様式化された実験フレームワークを採用し、Transformer がさまざまなクラスの実数値関数に対する勾配ベースの学習アルゴリズムを学習できることを実証しました。
ただし、学習アルゴリズムの実装における Transformer の制限や、他の形式のアルゴリズムを学習する能力についてはよく理解されていません。
さらに、これらの機能が注意ベースのモデルにどの程度限定されるかは不明です。
さらに、これらの様式化された設定から得られる洞察を、事前トレーニングされた大規模言語モデル (LLM) に推定できるかどうかはまだわかりません。
この研究では、次のことを実証することで、これらの質問に答えるための一歩を踏み出します: (a) さまざまなブール関数クラスを備えたテストベッドでは、Transformers が「より単純な」タスクの最適な学習アルゴリズムにほぼ一致することがわかります。
一方、より「複雑な」タスクではパフォーマンスが低下します。
さらに、特定のアテンションフリー モデルは、さまざまなタスクにおいて Transformers と（ほぼ）同じように動作することがわかりました。
(b) 教育シーケンス、つまりクラス内の関数を一意に識別する一連の例が提供されると、トランスフォーマーはよりサンプル効率的に学習することがわかります。
興味深いことに、私たちの結果は、Transformers が 1 つのタスクを解決するために 2 つの異なるアルゴリズムの実装を学習でき、コンテキスト内のサンプルのシーケンスに応じて、よりサンプル効率の高いアルゴリズムを適応的に選択できることを示しています。
(c) 最後に、現存する LLM が存在することを示します。
LLaMA-2、GPT-4 は、トレーニング セットに含まれないことが保証されている予測タスクに関して最近傍ベースラインと競合できます。

要約(オリジナル)

In order to understand the in-context learning phenomenon, recent works have adopted a stylized experimental framework and demonstrated that Transformers can learn gradient-based learning algorithms for various classes of real-valued functions. However, the limitations of Transformers in implementing learning algorithms, and their ability to learn other forms of algorithms are not well understood. Additionally, the degree to which these capabilities are confined to attention-based models is unclear. Furthermore, it remains to be seen whether the insights derived from these stylized settings can be extrapolated to pretrained Large Language Models (LLMs). In this work, we take a step towards answering these questions by demonstrating the following: (a) On a test-bed with a variety of Boolean function classes, we find that Transformers can nearly match the optimal learning algorithm for ‘simpler’ tasks, while their performance deteriorates on more ‘complex’ tasks. Additionally, we find that certain attention-free models perform (almost) identically to Transformers on a range of tasks. (b) When provided a teaching sequence, i.e. a set of examples that uniquely identifies a function in a class, we show that Transformers learn more sample-efficiently. Interestingly, our results show that Transformers can learn to implement two distinct algorithms to solve a single task, and can adaptively select the more sample-efficient algorithm depending on the sequence of in-context examples. (c) Lastly, we show that extant LLMs, e.g. LLaMA-2, GPT-4, can compete with nearest-neighbor baselines on prediction tasks that are guaranteed to not be in their training set.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google