Investigating the Learning Behaviour of In-context Learning: A Comparison with Supervised Learning

要約

大規模言語モデル (LLM) は、明示的な事前トレーニングを行わずに、わずか数個のトレーニング例から新しいタスクを学習する、コンテキスト内学習 (ICL) の顕著な能力を示しています。
しかし、LLM の成功にもかかわらず、ICL が与えられたプロンプトからどのように知識を学習するかについてはほとんど理解されていませんでした。
この論文では、ICL の学習動作の理解に向けて前進するために、ICL と教師あり学習 (SL) をそれぞれ介して同じデモンストレーション例で同じ LLM をトレーニングし、ラベル摂動 (つまり、ノイズの多いラベルとラベル) の下でのパフォーマンスを調査します。
不均衡）をさまざまな分類タスクに適用します。
まず、広範な実験を通じて、特に大規模な言語モデルの場合、ゴールド ラベルが下流のコンテキスト内のパフォーマンスに大きな影響を与えることがわかりました。
ただし、ラベルの不均衡は、すべてのモデル サイズの ICL にとってほとんど問題になりません。
第 2 に、SL と比較した場合、ICL は SL よりもラベルの摂動に対する感度が低く、モデル サイズが大きくなるにつれて ICL は徐々に SL に匹敵するパフォーマンスに達することが経験的に示されています。

要約(オリジナル)

Large language models (LLMs) have shown remarkable capacity for in-context learning (ICL), where learning a new task from just a few training examples is done without being explicitly pre-trained. However, despite the success of LLMs, there has been little understanding of how ICL learns the knowledge from the given prompts. In this paper, to make progress toward understanding the learning behaviour of ICL, we train the same LLMs with the same demonstration examples via ICL and supervised learning (SL), respectively, and investigate their performance under label perturbations (i.e., noisy labels and label imbalance) on a range of classification tasks. First, via extensive experiments, we find that gold labels have significant impacts on the downstream in-context performance, especially for large language models; however, imbalanced labels matter little to ICL across all model sizes. Second, when comparing with SL, we show empirically that ICL is less sensitive to label perturbations than SL, and ICL gradually attains comparable performance to SL as the model size increases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google