Spin glass model of in-context learning

要約

大規模な言語モデルは、驚くべきコンテキスト内学習能力を示します。これは、昔ながらの教師あり学習とはまったく対照的に、追加のトレーニングを必要とせずに、プロンプトを使用してクエリの予測を作成できることです。
したがって、機械論的な解釈を提供し、経験的現象を物理学に結び付けることは困難であり、未解決のままです。
私たちは、線形注意を備えたシンプルでありながら表現力豊かなトランスフォーマーを研究し、この構造を実数値スピンを備えたスピングラス モデルにマッピングします。ここで、カップリングとフィールドはデータの固有の無秩序を説明します。
スピン グラス モデルは、事前トレーニング中に重みパラメーターがどのように相互作用するのか、そして最も重要なことに、なぜトレーニングを行わずにプロンプ​​トのみを提供するだけで目に見えない関数が予測できるのかを説明します。
私たちの理論は、単一インスタンス学習の場合、ボルツマン分布が重みパラメーターの一意の正しい解に収束できるようにすることで、タスクの多様性を高めることにより、コンテキスト内学習の出現につながることを明らかにしています。
したがって、事前トレーニングされたトランスフォーマーは、新しいプロンプト設定で予測力を表示します。
したがって、提案されたスピン グラス モデルは、大規模な言語モデルの経験的な成功を理解するための基盤を確立します。

要約(オリジナル)

Large language models show a surprising in-context learning ability — being able to use a prompt to form a prediction for a query, yet without additional training, in stark contrast to old-fashioned supervised learning. Providing a mechanistic interpretation and linking the empirical phenomenon to physics are thus challenging and remain unsolved. We study a simple yet expressive transformer with linear attention, and map this structure to a spin glass model with real-valued spins, where the couplings and fields explain the intrinsic disorder in data. The spin glass model explains how the weight parameters interact with each other during pre-training, and most importantly why an unseen function can be predicted by providing only a prompt yet without training. Our theory reveals that for single instance learning, increasing the task diversity leads to the emergence of the in-context learning, by allowing the Boltzmann distribution to converge to a unique correct solution of weight parameters. Therefore the pre-trained transformer displays a prediction power in a novel prompt setting. The proposed spin glass model thus establishes a foundation to understand the empirical success of large language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google