Training with Mixed-Precision Floating-Point Assignments

要約

ディープ ニューラル ネットワークをトレーニングする場合、すべてのテンソルを高精度 (たとえば、32 ビットまたは 16 ビット浮動小数点数) に保つことは、多くの場合無駄です。
ただし、すべてのテンソルを低精度 (8 ビット浮動小数点など) に保つと、許容できない精度の損失が発生する可能性があります。
したがって、ほとんどのテンソルを低精度に保ち、十分に正確なモデルをもたらす精度の割り当て、つまり (トレーニングで生じる) すべてのテンソルから精度レベル (高または低) へのマッピングを使用することが重要です。
私たちは、畳み込みニューラル ネットワークの精度割り当てを生成することによって、このメモリと精度のトレードオフを調査する手法を提供します。これにより、以前の研究で考慮された精度割り当てと比較して、(i) 使用するメモリが少なくなり、(ii) 同時により正確な畳み込みネットワークが得られます。
低精度浮動小数点トレーニングで。
CIFAR-10、CIFAR-100、ImageNet で畳み込みネットワークをトレーニングすることにより、画像分類タスクに関する手法を評価します。
私たちの方法では、通常、トレーニング精度を維持しながら、ベースライン精度の割り当てと比べて 2 倍を超えるメモリ削減が実現され、精度をトレードオフすることでさらに削減されます。
トレーニングの発散を引き起こすことがある他のベースラインと比較して、私たちの方法は発散を回避しながら同等以上のメモリ削減を実現します。

要約(オリジナル)

When training deep neural networks, keeping all tensors in high precision (e.g., 32-bit or even 16-bit floats) is often wasteful. However, keeping all tensors in low precision (e.g., 8-bit floats) can lead to unacceptable accuracy loss. Hence, it is important to use a precision assignment — a mapping from all tensors (arising in training) to precision levels (high or low) — that keeps most of the tensors in low precision and leads to sufficiently accurate models. We provide a technique that explores this memory-accuracy tradeoff by generating precision assignments for convolutional neural networks that (i) use less memory and (ii) lead to more accurate convolutional networks at the same time, compared to the precision assignments considered by prior work in low-precision floating-point training. We evaluate our technique on image classification tasks by training convolutional networks on CIFAR-10, CIFAR-100, and ImageNet. Our method typically provides > 2x memory reduction over a baseline precision assignment while preserving training accuracy, and gives further reductions by trading off accuracy. Compared to other baselines which sometimes cause training to diverge, our method provides similar or better memory reduction while avoiding divergence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google