Continuous 16-bit Training: Accelerating 32-bit Pre-Trained Neural Networks

要約

ディープラーニングの分野では、32ビット精度で初期学習されたモデルが普及していることが、そのロバスト性と精度の高さを証明している。しかし、これらのモデルの継続的な進化は、多くの場合、リソース集約的な更なる学習を要求する。本研究では、既存の32ビットモデルの学習を16ビット精度で継続するという新しいアプローチを導入する。この手法は、計算資源の効率化の必要性に応えるだけでなく、追加学習フェーズの速度を大幅に向上させる。継続的な訓練に16ビット精度を採用することで、メモリ要件と計算負荷を大幅に減少させることができ、それによってリソースが限られた環境での訓練プロセスを高速化することができる。我々の実験によれば、この方法は、オリジナルの32ビット訓練で設定された高水準の精度を維持しながら、訓練速度を大幅に向上させることができる。このアプローチは、ほとんどのモデルが32ビットで初期学習され、定期的な更新と改良を必要とする今日の状況において、特に適切である。我々の研究結果は、この16ビット継続学習戦略が、持続可能で効率的なディープラーニングのための重要なソリューションとなり得ることを示唆しており、事前学習済みモデルを迅速かつリソースを意識した方法で強化する実用的な方法を提供する。

要約(オリジナル)

In the field of deep learning, the prevalence of models initially trained with 32-bit precision is a testament to its robustness and accuracy. However, the continuous evolution of these models often demands further training, which can be resource-intensive. This study introduces a novel approach where we continue the training of these pre-existing 32-bit models using 16-bit precision. This technique not only caters to the need for efficiency in computational resources but also significantly improves the speed of additional training phases. By adopting 16-bit precision for ongoing training, we are able to substantially decrease memory requirements and computational burden, thereby accelerating the training process in a resource-limited setting. Our experiments show that this method maintains the high standards of accuracy set by the original 32-bit training while providing a much-needed boost in training speed. This approach is especially pertinent in today’s context, where most models are initially trained in 32-bit and require periodic updates and refinements. The findings from our research suggest that this strategy of 16-bit continuation training can be a key solution for sustainable and efficient deep learning, offering a practical way to enhance pre-trained models rapidly and in a resource-conscious manner.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL