Re-examining learning linear functions in context

要約

文脈内学習（ICL）は、様々な問題を解決する魅力的な手法である。Gargら(2022)に触発され、我々は、ゼロから訓練したサイズの異なる複数の変換モデルについて、様々な訓練とテストの設定におけるICLを詳細に調べる。我々の研究は、これらのモデルが学習分布に含まれないデータに対して汎化できないいくつかの系統的な失敗を指摘することにより、先行研究を補完し、ICLの限界を示す。我々は、モデルがこのタスクに対して、標準的な解決策とは大きく異なる戦略を採用していることを発見した。

要約(オリジナル)

In context learning (ICL) is an attractive method of solving a wide range of problems. Inspired by Garg et al. (2022), we look closely at ICL in a variety of train and test settings for several transformer models of different sizes trained from scratch. Our study complements prior work by pointing out several systematic failures of these models to generalize to data not in the training distribution, thereby showing some limitations of ICL. We find that models adopt a strategy for this task that is very different from standard solutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL