Continuous 16-bit Training: Accelerating 32-bit Pre-Trained Neural Networks

要約

深層学習の分野では、最初に 32 ビット精度でトレーニングされたモデルが普及していることは、その堅牢性と精度の証拠です。
ただし、これらのモデルの継続的な進化にはさらなるトレーニングが必要になることが多く、リソースを大量に消費する可能性があります。
この研究では、16 ビット精度を使用してこれらの既存の 32 ビット モデルのトレーニングを継続する新しいアプローチを導入します。
この手法は、計算リソースの効率化のニーズに応えるだけでなく、追加のトレーニング フェーズの速度も大幅に向上します。
継続的なトレーニングに 16 ビット精度を採用することで、メモリ要件と計算負荷を大幅に削減でき、リソースが限られた設定でトレーニング プロセスを高速化できます。
私たちの実験では、この方法が元の 32 ビット トレーニングで設定された高い精度基準を維持しながら、切望されていたトレーニング速度の向上を実現できることがわかりました。
このアプローチは、ほとんどのモデルが最初は 32 ビットでトレーニングされ、定期的な更新と改良が必要な今日の状況に特に当てはまります。
私たちの研究結果は、この 16 ビット継続トレーニング戦略が持続可能で効率的な深層学習の重要なソリューションとなり、リソースを意識した方法で事前トレーニングされたモデルを迅速に強化する実用的な方法を提供できることを示唆しています。

要約(オリジナル)

In the field of deep learning, the prevalence of models initially trained with 32-bit precision is a testament to its robustness and accuracy. However, the continuous evolution of these models often demands further training, which can be resource-intensive. This study introduces a novel approach where we continue the training of these pre-existing 32-bit models using 16-bit precision. This technique not only caters to the need for efficiency in computational resources but also significantly improves the speed of additional training phases. By adopting 16-bit precision for ongoing training, we are able to substantially decrease memory requirements and computational burden, thereby accelerating the training process in a resource-limited setting. Our experiments show that this method maintains the high standards of accuracy set by the original 32-bit training while providing a much-needed boost in training speed. This approach is especially pertinent in today’s context, where most models are initially trained in 32-bit and require periodic updates and refinements. The findings from our research suggest that this strategy of 16-bit continuation training can be a key solution for sustainable and efficient deep learning, offering a practical way to enhance pre-trained models rapidly and in a resource-conscious manner.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google