Human Curriculum Effects Emerge with In-Context Learning in Neural Networks

要約

人間の学習は、ルールのような構造と、トレーニングに使用されるサンプルのカリキュラムに敏感です。
簡潔なルールによって管理されるタスクでは、関連するサンプルがトライアル全体でブロックされている場合、学習はより堅牢になりますが、そのようなルールがない場合は、インターリーブの方が効果的です。
現在まで、これらの一見矛盾した効果を同時に捉えたニューラル モデルはありません。
ここでは、これと同じトレードオフが、メタルラーニングで訓練されたニューラル ネットワークと大規模言語モデル (LLM) の両方の「コンテキスト内学習」(ICL) で自発的に現れることを示します。
ICL は、アクティベーション ダイナミクスに実装された内部ループ アルゴリズムを介して、重みを変更せずに「コンテキスト内」で新しいタスクを学習する機能です。
事前学習済み LLM とメタルラーニング トランスフォーマーを用いた実験では、ICL がルールのような構造を含むタスクで人間で実証されたブロッキングの利点を示し、逆に、同時重み付け学習がそのような構造を欠くタスクで人間で観察されたインターリーブの利点を再現することを示しています。

要約(オリジナル)

Human learning is sensitive to rule-like structure and the curriculum of examples used for training. In tasks governed by succinct rules, learning is more robust when related examples are blocked across trials, but in the absence of such rules, interleaving is more effective. To date, no neural model has simultaneously captured these seemingly contradictory effects. Here we show that this same tradeoff spontaneously emerges with ‘in-context learning’ (ICL) both in neural networks trained with metalearning and in large language models (LLMs). ICL is the ability to learn new tasks ‘in context’ – without weight changes – via an inner-loop algorithm implemented in activation dynamics. Experiments with pretrained LLMs and metalearning transformers show that ICL exhibits the blocking advantage demonstrated in humans on a task involving rule-like structure, and conversely, that concurrent in-weight learning reproduces the interleaving advantage observed in humans on tasks lacking such structure.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google