On-Device Training of Fully Quantized Deep Neural Networks on Cortex-M Microcontrollers

要約

DNN のオンデバイス トレーニングにより、マイクロコントローラー ユニット (MCU) に展開しながら、新しく収集されたデータや変化するドメインにモデルを適応させ、微調整することができます。
ただし、DNN トレーニングはリソースを大量に消費するタスクであり、プロセッサ速度の低さ、スループットの制約、浮動小数点サポートの制限、およびメモリの制約により、MCU での DNN トレーニング アルゴリズムの実装と実行が困難になります。
この作業では、Cortex-M MCU の DNN のオンデバイス トレーニングについて調査します。
完全量子化トレーニング (FQT) と動的部分勾配更新を使用して、MCU 上で完全に DNN の効率的なトレーニングを可能にする方法を紹介します。
私たちは、複数のビジョンおよび時系列データセットに対するアプローチの実現可能性を実証し、実際のハードウェアでのトレーニング精度、メモリ オーバーヘッド、エネルギー、レイテンシの間のトレードオフについての洞察を提供します。

要約(オリジナル)

On-device training of DNNs allows models to adapt and fine-tune to newly collected data or changing domains while deployed on microcontroller units (MCUs). However, DNN training is a resource-intensive task, making the implementation and execution of DNN training algorithms on MCUs challenging due to low processor speeds, constrained throughput, limited floating-point support, and memory constraints. In this work, we explore on-device training of DNNs for Cortex-M MCUs. We present a method that enables efficient training of DNNs completely in place on the MCU using fully quantized training (FQT) and dynamic partial gradient updates. We demonstrate the feasibility of our approach on multiple vision and time-series datasets and provide insights into the tradeoff between training accuracy, memory overhead, energy, and latency on real hardware.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google