An Efficient Compression of Deep Neural Network Checkpoints Based on Prediction and Context Modeling

要約

このペーパーは、ニューラルネットワークトレーニングプロセス中にさまざまな段階で得られた重みとオプティマイザー状態（チェックポイントと呼ばれる）の効率的な圧縮に専念しています。
まず、予測ベースの圧縮アプローチを提案します。ここでは、以前に保存されたチェックポイントからの値が、算術コーディングのコンテキストモデリングに使用されます。
第二に、圧縮性能を向上させるために、チェックポイント値の剪定と量子化を適用することも提案します。
実験結果は、私たちのアプローチが大幅なビットサイズの削減を達成し、復元されたチェックポイントからの途切れないトレーニングの回復を可能にし、モデルのパフォーマンスを維持し、ストレージ制限環境に適していることを示しています。

要約(オリジナル)

This paper is dedicated to an efficient compression of weights and optimizer states (called checkpoints) obtained at different stages during a neural network training process. First, we propose a prediction-based compression approach, where values from the previously saved checkpoint are used for context modeling in arithmetic coding. Second, in order to enhance the compression performance, we also propose to apply pruning and quantization of the checkpoint values. Experimental results show that our approach achieves substantial bit size reduction, while enabling near-lossless training recovery from restored checkpoints, preserving the model’s performance and making it suitable for storage-limited environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google