The broader spectrum of in-context learning

要約

文脈内のいくつかの例からタスクを学習する言語モデルの機能は、大きな関心を集めています。
ここでは、このタイプの教師あり少数ショット学習を、より広範なメタ学習型インコンテキスト学習の中に位置付ける観点を提供します。
実際、コンテキストが後続の予測の損失を著しく減少させるシーケンスの分布は、一種のコンテキスト内学習を誘発すると解釈できることを示唆しています。
この視点は、指示やロールプレイからのタスクへの適応、時系列の外挿など、言語モデルが示す $\unicode{x2014}$ というコンテキスト内での幅広い能力を統合するのに役立つと考えられます。
この視点は、言語依存関係の下位レベルの処理 (例: 共参照や並列構造) における文脈内学習の潜在的な根源にも光を当てます。
最後に、この視点に立つと、一般化の重要性が強調されます。一般化は、何か新しいことを学ぶ能力だけでなく、さまざまなプレゼンテーションから学び、学んだことを応用する柔軟性など、いくつかの側面に沿って研究できることを提案します。
私たちは、メタ学習と目標条件付きエージェントに関する過去の文献とのより広範な関連性、および学習と適応に関するその他の観点について議論します。
最後に、コンテキスト内学習の研究では、このより広範なコンテキスト内の能力と一般化の種類を考慮する必要があることを提案して終わります。

要約(オリジナル)

The ability of language models to learn a task from a few examples in context has generated substantial interest. Here, we provide a perspective that situates this type of supervised few-shot learning within a much broader spectrum of meta-learned in-context learning. Indeed, we suggest that any distribution of sequences in which context non-trivially decreases loss on subsequent predictions can be interpreted as eliciting a kind of in-context learning. We suggest that this perspective helps to unify the broad set of in-context abilities that language models exhibit $\unicode{x2014}$ such as adapting to tasks from instructions or role play, or extrapolating time series. This perspective also sheds light on potential roots of in-context learning in lower-level processing of linguistic dependencies (e.g. coreference or parallel structures). Finally, taking this perspective highlights the importance of generalization, which we suggest can be studied along several dimensions: not only the ability to learn something novel, but also flexibility in learning from different presentations, and in applying what is learned. We discuss broader connections to past literature in meta-learning and goal-conditioned agents, and other perspectives on learning and adaptation. We close by suggesting that research on in-context learning should consider this broader spectrum of in-context capabilities and types of generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google