Strategy Coopetition Explains the Emergence and Transience of In-Context Learning

要約

コンテキスト内学習（ICL）は、変圧器モデルに現れる強力な能力であり、重量の更新なしでコンテキストから学習できるようにします。
最近の研究により、緊急のICLは一時的な現象として確立されており、長いトレーニング時間の後に時々消える可能性があります。
この作業では、これらの一時的なダイナミクスの機械的理解を求めました。
第一に、ICLの消失後、漸近戦略は重量とコンテキスト内学習の間の顕著なハイブリッドであり、「コンテキストに制約のない重量学習」（CIWL）と呼ばれることがわかります。
CIWLはICLと競合しており、最終的にはモデルの支配的な戦略として置き換えられます（したがって、ICLのトランシエンスにつながります）。
ただし、2つの競合する戦略は実際にサブサーキットを共有しており、これにより協力的なダイナミクスも生じます。
たとえば、セットアップでは、ICLはそれ自体で迅速に出現することができず、漸近CIWLの同時ゆっくりした発達によってのみ有効にすることができます。
したがって、CIWLは、「戦略の共同協力」と呼ばれる現象であるICLと協力し、競合しています。
これらの重要なダイナミクスと相互作用を再現する最小限の数学モデルを提案します。
このモデルから通知を受けて、ICLが本当に出現し、永続的であるセットアップを特定することができました。

要約(オリジナル)

In-context learning (ICL) is a powerful ability that emerges in transformer models, enabling them to learn from context without weight updates. Recent work has established emergent ICL as a transient phenomenon that can sometimes disappear after long training times. In this work, we sought a mechanistic understanding of these transient dynamics. Firstly, we find that, after the disappearance of ICL, the asymptotic strategy is a remarkable hybrid between in-weights and in-context learning, which we term ‘context-constrained in-weights learning’ (CIWL). CIWL is in competition with ICL, and eventually replaces it as the dominant strategy of the model (thus leading to ICL transience). However, we also find that the two competing strategies actually share sub-circuits, which gives rise to cooperative dynamics as well. For example, in our setup, ICL is unable to emerge quickly on its own, and can only be enabled through the simultaneous slow development of asymptotic CIWL. CIWL thus both cooperates and competes with ICL, a phenomenon we term ‘strategy coopetition.’ We propose a minimal mathematical model that reproduces these key dynamics and interactions. Informed by this model, we were able to identify a setup where ICL is truly emergent and persistent.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google