Weak-to-Strong Generalization Even in Random Feature Networks, Provably

要約

弱から強力な一般化（Burns et al。、2024）は、GPT-4によると、強力な生徒、たとえばGPT-2によると、GPT-2が弱い教師から課題を学び、教師を大幅に上回る現象です。
この現象は、GPT-4のような強力な学習者を必要としないことを示しています。
ランダムで固定された下層と訓練された最上層を備えた2層ネットワークによって記述されたランダムな特徴モデルである学生と教師を考慮します。
少数のユニット（つまり、ランダムな機能）を持つ「弱い」教師は、人口について訓練され、「ランダムな特徴）がはるかに多数のユニット（つまり、ランダムな機能）を持つ「強力な」生徒は、弱い教師によって生成されたラベルでのみトレーニングされます。
教師がラベルを付けたデータのみでのみ訓練されているにもかかわらず、生徒がどのように教師を上回ることができるかを実証、証明、および理解します。
また、早期停止によってこのような弱い〜強力な一般化がどのように可能になっているかを説明します。
重要なことに、このモデルでは、弱くて強力な一般化の定量的制限も示しています。

要約(オリジナル)

Weak-to-Strong Generalization (Burns et al., 2024) is the phenomenon whereby a strong student, say GPT-4, learns a task from a weak teacher, say GPT-2, and ends up significantly outperforming the teacher. We show that this phenomenon does not require a strong learner like GPT-4. We consider student and teacher that are random feature models, described by two-layer networks with a random and fixed bottom layer and a trained top layer. A ‘weak’ teacher, with a small number of units (i.e. random features), is trained on the population, and a ‘strong’ student, with a much larger number of units (i.e. random features), is trained only on labels generated by the weak teacher. We demonstrate, prove, and understand how the student can outperform the teacher, even though trained only on data labeled by the teacher. We also explain how such weak-to-strong generalization is enabled by early stopping. Importantly, we also show the quantitative limits of weak-to-strong generalization in this model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google