Training on the Test Task Confounds Evaluation and Emergence

要約

私たちは、テスト タスクでのトレーニングと呼ばれる、大規模な言語モデルの評価における基本的な問題を研究します。
テスト データに関するトレーニング、漏洩、データ汚染などの不正行為とは異なり、テスト タスクに関するトレーニングは不正行為ではありません。
むしろ、この用語は、言語モデルの事前トレーニング段階にタスク関連データを含めるための一連のテクニックの増加を指します。
テスト タスクでのトレーニングが、相対的なモデルの評価と、創発的な機能に関する主張の両方を混乱させることを実証します。
私たちは、あるモデルファミリーが他のモデルファミリーよりも優れているように見えることは、テストタスクのトレーニングの程度の違いによって説明できる可能性があると主張します。
この目的を達成するために、評価前に同じタスク関連データで比較中の各モデルを微調整することにより、テスト タスクのトレーニングを調整する効果的な方法を提案します。
次に、テスト タスクのトレーニングを調整すると、緊急の行動のインスタンスがほとんど消えることを示します。
これは、評価指標の選択では説明できない、報告された緊急の動作のインスタンスにも当てはまります。
私たちの研究は、大規模な言語モデルの評価に関する新しい視点を促進し、ベンチマークや新たな機能の研究に広範な影響を及ぼします。

要約(オリジナル)

We study a fundamental problem in the evaluation of large language models that we call training on the test task. Unlike wrongful practices like training on the test data, leakage, or data contamination, training on the test task is not a malpractice. Rather, the term describes a growing set of techniques to include task-relevant data in the pretraining stage of a language model. We demonstrate that training on the test task confounds both relative model evaluations and claims about emergent capabilities. We argue that the seeming superiority of one model family over another may be explained by a different degree of training on the test task. To this end, we propose an effective method to adjust for training on the test task by fine-tuning each model under comparison on the same task-relevant data before evaluation. We then show that instances of emergent behavior largely vanish once we adjust for training on the test task. This also applies to reported instances of emergent behavior that cannot be explained by the choice of evaluation metric. Our work promotes a new perspective on the evaluation of large language models with broad implications for benchmarking and the study of emergent capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google