Stepping Forward on the Last Mile

要約

リソースに制約のあるエッジデバイス上のローカルデータに事前トレーニング済みモデルを継続的に適応させることは、モデル展開の $\emph{ラスト マイル}$ です。
ただし、モデルのサイズと深さが増加するにつれて、バックプロパゲーションには大量のメモリが必要となり、エッジ デバイスでは法外なメモリが必要になります。
さらに、既存の低電力ニューラル処理エンジン (NPU、DSP、MCU など) のほとんどは、トレーニング機能のない固定小数点推論アクセラレータとして設計されています。
2 つの順方向呼び出しから計算された方向導関数のみに基づく順方向勾配は、最近モデルのトレーニングに使用されており、計算とメモリが大幅に節約されます。
ただし、固定小数点順勾配を使用した量子化トレーニングのパフォーマンスは依然として不明です。
この論文では、視覚領域と音声領域の両方でさまざまな深層学習ベンチマーク タスクにわたる包括的な実験を実施することにより、固定小数点順勾配を使用したオンデバイス トレーニングの実現可能性を調査します。
私たちは、バックプロパゲーションと比較してメモリ フットプリントと精度ギャップをさらに削減する一連のアルゴリズムの機能強化を提案します。
順勾配を使用したトレーニングが損失状況の中でどのようにナビゲートするかについての実証的研究がさらに調査されます。
私たちの結果は、エッジデバイスでのモデルカスタマイズのラストワンマイルでは、固定小数点順勾配を使用したトレーニングが実現可能で実用的なアプローチであることを示しています。

要約(オリジナル)

Continuously adapting pre-trained models to local data on resource constrained edge devices is the $\emph{last mile}$ for model deployment. However, as models increase in size and depth, backpropagation requires a large amount of memory, which becomes prohibitive for edge devices. In addition, most existing low power neural processing engines (e.g., NPUs, DSPs, MCUs, etc.) are designed as fixed-point inference accelerators, without training capabilities. Forward gradients, solely based on directional derivatives computed from two forward calls, have been recently used for model training, with substantial savings in computation and memory. However, the performance of quantized training with fixed-point forward gradients remains unclear. In this paper, we investigate the feasibility of on-device training using fixed-point forward gradients, by conducting comprehensive experiments across a variety of deep learning benchmark tasks in both vision and audio domains. We propose a series of algorithm enhancements that further reduce the memory footprint, and the accuracy gap compared to backpropagation. An empirical study on how training with forward gradients navigates in the loss landscape is further explored. Our results demonstrate that on the last mile of model customization on edge devices, training with fixed-point forward gradients is a feasible and practical approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google