An exactly solvable model for emergence and scaling laws in the multitask sparse parity problem

要約

深層学習モデルは、トレーニング時間、トレーニング データ、またはモデルのサイズが増加するにつれて、新しい問題を解決する突然の能力を発揮することがあります。これは創発として知られる現象です。
この論文では、それぞれの新しい能力 (スキル) が基底関数として表現されるフレームワークを紹介します。
このスキルベースで単純な多線形モデルを解き、新しいスキルの出現や、トレーニング時間、データ サイズ、モデル サイズ、最適なコンピューティングによる損失の法則のスケーリングに関する分析式を見つけます。
詳細な計算を、データセット内のタスクがべき乗則に従って分散されるマルチタスク スパース パリティでトレーニングされた 2 層ニューラル ネットワークの直接シミュレーションと比較します。
私たちの単純なモデルは、単一の適合パラメーターを使用して、ニューラル ネットワーク内でトレーニング時間、データ サイズ、またはモデル サイズが増加するにつれて複数の新しいスキルがシグモイド的に出現する様子を捉えます。

要約(オリジナル)

Deep learning models can exhibit what appears to be a sudden ability to solve a new problem as training time, training data, or model size increases, a phenomenon known as emergence. In this paper, we present a framework where each new ability (a skill) is represented as a basis function. We solve a simple multi-linear model in this skill-basis, finding analytic expressions for the emergence of new skills, as well as for scaling laws of the loss with training time, data size, model size, and optimal compute. We compare our detailed calculations to direct simulations of a two-layer neural network trained on multitask sparse parity, where the tasks in the dataset are distributed according to a power-law. Our simple model captures, using a single fit parameter, the sigmoidal emergence of multiple new skills as training time, data size or model size increases in the neural network.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google