In-context Learning Generalizes, But Not Always Robustly: The Case of Syntax

要約

インコンテキスト学習 (ICL) は現在、大規模言語モデル (LLM) に新しいタスクを教えるための一般的な方法です。入力コンテキストでラベル付きの例が与えられると、LLM は重みを更新せずにタスクを実行することを学習します。
ICL を介してガイドされたモデルは、コンテキストによって定義されたタスクの基礎となる構造を推論しますか、それとも同一に分散された例にのみ一般化する表面的なヒューリスティックに依存しますか?
私たちは、堅牢な言語理解の要件である構文に対する感度を評価する変換タスクと NLI タスクを使用して、この質問に取り組みます。
さらに、分布外一般化が思考連鎖プロンプトによって改善できるかどうかを調査します。このプロンプトでは、タスクがどのように実行されるべきかを示す一連の中間計算ステップがモデルに提供されます。
GPT、PaLM、および Llama 2 ファミリのモデルを使った実験では、LM 間で大きな差異が見られます。
この差異は、モデルのサイズよりも、事前トレーニング コーパスの構成と監視方法によって説明されます。
特に、コードで事前トレーニングされたモデルはより一般化され、思考連鎖プロンプトからより多くの恩恵を受けます。

要約(オリジナル)

In-context learning (ICL) is now a common method for teaching large language models (LLMs) new tasks: given labeled examples in the input context, the LLM learns to perform the task without weight updates. Do models guided via ICL infer the underlying structure of the task defined by the context, or do they rely on superficial heuristics that only generalize to identically distributed examples? We address this question using transformations tasks and an NLI task that assess sensitivity to syntax – a requirement for robust language understanding. We further investigate whether out-of-distribution generalization can be improved via chain-of-thought prompting, where the model is provided with a sequence of intermediate computation steps that illustrate how the task ought to be performed. In experiments with models from the GPT, PaLM, and Llama 2 families, we find large variance across LMs. The variance is explained more by the composition of the pre-training corpus and supervision methods than by model size; in particular, models pre-trained on code generalize better, and benefit more from chain-of-thought prompting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google