Inverse scaling can become U-shaped

要約

言語モデルをスケールアップすると、パフォーマンスが向上し、新たな能力が発揮されることが経験的に示されています。
逆に、スケールの関数としてのパフォーマンスの低下 (「逆スケーリング」) を観察すると、スケーリングが人間の好みに合わない行動を助長していることを示します。
Inverse Scaling Prize (McKenzie et al. 2022) は、最大 280B パラメーターのモデルと最大 500 zettaFLOP のトレーニング コンピューティングで評価された 11 のそのような逆スケーリング タスクを特定しました。
このホワイト ペーパーでは、これらの逆スケーリング タスクについて詳しく説明します。
Inverse Scaling Prize で評価されたものよりも 5 倍のコンピューティングでトレーニングされた、最大 540B のパラメーターのモデルを評価します。
このモデル サイズとトレーニング コンピューティングの範囲の拡大により、11 のタスクのうち 4 つだけが逆スケーリングのままになります。
11 個のタスクのうち 6 個は、いわゆる「U 字型スケーリング」を示します。パフォーマンスは、特定のモデル サイズまで低下し、評価された最大のモデルまで再び増加します (残りの 1 つのタスクは正のスケーリングを示します)。
U字型のスケーリングは、McKenzieらで観察された逆のスケーリング傾向を示唆しています。
(2022) は、より大きなモデルには当てはまらない可能性があり、十分に大きなモデルが創発的能力を解き放つという主張をさらに支持します。

要約(オリジナル)

Scaling up language models has been empirically shown to improve performance and unlock emergent abilities. Conversely, observing worse performance as a function of scale (‘inverse scaling’) would indicate that scaling encourages behaviors that are misaligned with human preferences. The Inverse Scaling Prize (McKenzie et al. 2022) identified eleven such inverse scaling tasks, evaluated on models of up to 280B parameters and up to 500 zettaFLOPs of training compute. This paper takes a closer look at these inverse scaling tasks. We evaluate models of up to 540B parameters, trained on five times more compute than those evaluated in the Inverse Scaling Prize. With this increased range of model sizes and training compute, only four out of the eleven tasks remain inverse scaling. Six out of the eleven tasks exhibit what we call ‘U-shaped scaling’ — performance decreases up to a certain model size, and then increases again up to the largest model evaluated (the one remaining task displays positive scaling). U-shaped scaling suggests that the inverse scaling trend observed in McKenzie et al. (2022) may not continue to hold for larger models, and adds further support to the claim that sufficiently large models unlock emergent abilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google