Cuttlefish: Low-Rank Model Training without All the Tuning

要約

タイトル: チョウセンダコ：すべての調整を省略した低ランクモデルトレーニング

要約:

– 低ランクニューラルネットワークのトレーニングは、予測精度を犠牲にすることなくトータルトレーニング可能なパラメーター数を効果的に減らすことができます。
– しかし、低ランクモデルトレーニングには、各レイヤーの分解ランクなど、いくつかの追加の分解ハイパーパラメーターを調整する必要があります。
– この論文では、ファクタリゼーションハイパーパラメーターの調整が必要な低ランクモデルトレーニングの問題に取り組み、Cuttlefishを導入します。
– Cuttlefishは、全ランクトレーニングの数回のエポックの後に、各レイヤーの安定したランクが定数値に収束することを利用して、ファクタリゼーションハイパーパラメーターの調整が不要な自動低ランクトレーニングアプローチです。
– Cuttlefishは、すべてのレイヤーの安定したランクが収束したら、フルランクトレーニングから低ランクトレーニングに切り替え、各ファクタリゼーションの次元を対応する安定したランクに設定します。
– Cuttlefishは、フルランクモデルよりも5.6倍小さなモデルを生成し、同等の精度を保ちながら最大1.2倍高速なエンドツーエンドトレーニングプロセスを達成します。
– さらに、Cuttlefishは、最先端の低ランクモデルトレーニング方法や他の主要なベースラインを凌駕します。
– 私たちの実装のソースコードは、https://github.com/hwang595/Cuttlefishで見つけることができます。

要約(オリジナル)

Recent research has shown that training low-rank neural networks can effectively reduce the total number of trainable parameters without sacrificing predictive accuracy, resulting in end-to-end speedups. However, low-rank model training necessitates adjusting several additional factorization hyperparameters, such as the rank of the factorization at each layer. In this paper, we tackle this challenge by introducing Cuttlefish, an automated low-rank training approach that eliminates the need for tuning factorization hyperparameters. Cuttlefish leverages the observation that after a few epochs of full-rank training, the stable rank (i.e., an approximation of the true rank) of each layer stabilizes at a constant value. Cuttlefish switches from full-rank to low-rank training once the stable ranks of all layers have converged, setting the dimension of each factorization to its corresponding stable rank. Our results show that Cuttlefish generates models up to 5.6 times smaller than full-rank models, and attains up to a 1.2 times faster end-to-end training process while preserving comparable accuracy. Moreover, Cuttlefish outperforms state-of-the-art low-rank model training methods and other prominent baselines. The source code for our implementation can be found at: https://github.com/hwang595/Cuttlefish.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI