Spin glass model of in-context learning

要約

大規模な言語モデルは、驚くべきコンテキストの学習能力を示しています。プロンプトを使用して、昔ながらの監視された学習とはまったく対照的に、クエリの予測を作成しますが、追加のトレーニングなしで予測を形成することができます。
したがって、機械的な解釈を提供し、経験的現象を物理学にリンクすることは挑戦的であり、解決されていないままです。
直線的な注意を払ったシンプルでありながら表現力豊かな変圧器を研究し、この構造を実質価値のあるスピンでスピンガラスモデルにマッピングします。ここでは、カップリングとフィールドがデータの固有の障害を説明します。
スピンガラスモデルは、トレーニング前の重量パラメーターがどのように相互作用するかを説明し、さらにトレーニングなしでプロンプトのみを提供することで、目に見えない関数を予測できる理由をさらに明確にします。
私たちの理論は、単一インスタンス学習のために、タスクの多様性を高めると、ボルツマン分布が体重パラメーターのユニークな正しいソリューションに収束できるようにすることにより、コンテキスト学習の出現につながることが明らかになりました。
したがって、事前に訓練されたトランスは、新しいプロンプト設定で予測力を表示します。
したがって、提案されている分析的に扱いやすいモデルは、大規模な言語モデルの多くの興味深いが不可解な特性をどのように解釈するかを考えるための有望な道を提供します。

要約(オリジナル)

Large language models show a surprising in-context learning ability — being able to use a prompt to form a prediction for a query, yet without additional training, in stark contrast to old-fashioned supervised learning. Providing a mechanistic interpretation and linking the empirical phenomenon to physics are thus challenging and remain unsolved. We study a simple yet expressive transformer with linear attention and map this structure to a spin glass model with real-valued spins, where the couplings and fields explain the intrinsic disorder in data. The spin glass model explains how the weight parameters interact with each other during pre-training, and further clarifies why an unseen function can be predicted by providing only a prompt yet without further training. Our theory reveals that for single-instance learning, increasing the task diversity leads to the emergence of in-context learning, by allowing the Boltzmann distribution to converge to a unique correct solution of weight parameters. Therefore the pre-trained transformer displays a prediction power in a novel prompt setting. The proposed analytically tractable model thus offers a promising avenue for thinking about how to interpret many intriguing but puzzling properties of large language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google