Cuttlefish: Low-rank Model Training without All The Tuning

要約

タイトル：Cuttlefish：チューニングなしの低ランクモデルトレーニング

要約：
– 低ランクニューラルネットワークのトレーニングは、予測精度を犠牲にすることなく、トレーニング可能なパラメーターの総数を効果的に減らし、エンドツーエンドの高速化を実現できることが最近の研究で示されています。
– しかし、低ランクモデルトレーニングには、各層のファクタリゼーションのランクなど、いくつかの追加のファクタリゼーションハイパーパラメータの調整が必要です。
– この論文では、ファクタリゼーションハイパーパラメータの調整を不要にする自動化された低ランクトレーニング手法であるCuttlefishを紹介しています。
– Cuttlefishは、完全ランクトレーニングの数エポック後に、各層の安定ランク（真のランクの近似）が一定の値に収束することを利用して、安定ランクが収束したら完全ランクから低ランクトレーニングに切り替え、各ファクタリゼーションの次元を対応する安定ランクに設定します。
– Cuttlefishは、フルランクモデルよりも最大5.6倍小さいモデルを生成し、同等の精度を保ちながら最大1.2倍高速なエンドツーエンドトレーニングプロセスを達成します。
– また、Cuttlefishは、最先端の低ランクモデルトレーニング手法と他の主要なベースラインを上回る結果を示しました。実装のソースコードは、https://github.com/hwang595/Cuttlefishで入手可能です。

要約(オリジナル)

Recent research has shown that training low-rank neural networks can effectively reduce the total number of trainable parameters without sacrificing predictive accuracy, resulting in end-to-end speedups. However, low-rank model training necessitates adjusting several additional factorization hyperparameters, such as the rank of the factorization at each layer. In this paper, we tackle this challenge by introducing Cuttlefish, an automated low-rank training approach that eliminates the need for tuning factorization hyperparameters. Cuttlefish leverages the observation that after a few epochs of full-rank training, the stable rank (i.e., an approximation of the true rank) of each layer stabilizes at a constant value. Cuttlefish switches from full-rank to low-rank training once the stable ranks of all layers have converged, setting the dimension of each factorization to its corresponding stable rank. Our results show that Cuttlefish generates models up to 5.6 times smaller than full-rank models, and attains up to a 1.2 times faster end-to-end training process while preserving comparable accuracy. Moreover, Cuttlefish outperforms state-of-the-art low-rank model training methods and other prominent baselines. The source code for our implementation can be found at: https://github.com/hwang595/Cuttlefish.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI