On-Device Learning with Binary Neural Networks

要約

既存の継続学習 (CL) ソリューションは、低電力組み込み CPU に展開された場合、深層学習モデルの電力、メモリ、および計算に関する制約に部分的にしか対処できません。
この論文では、CL 分野の最近の進歩と、深層学習モデルを効率的に実行するために重みとアクティベーションに 1 ビットを使用するバイナリ ニューラル ネットワーク (BNN) の効率を組み込んだ CL ソリューションを提案します。
勾配更新ステップ中により高い精度を維持し、同時にレイテンシのオーバーヘッドを最小限に抑えるために、前方パスと後方パスを別々に考慮する CWR* のハイブリッド量子化 (効果的な CL アプローチ) を提案します。
バックボーンとしてバイナリ ネットワークを選択することは、低電力デバイスの制約を満たすために不可欠であり、著者の知る限り、これは BNN を使用したオンデバイス学習を証明する最初の試みです。
実行された実験的検証により、提案された方法の妥当性と適合性が確認されます。

要約(オリジナル)

Existing Continual Learning (CL) solutions only partially address the constraints on power, memory and computation of the deep learning models when deployed on low-power embedded CPUs. In this paper, we propose a CL solution that embraces the recent advancements in CL field and the efficiency of the Binary Neural Networks (BNN), that use 1-bit for weights and activations to efficiently execute deep learning models. We propose a hybrid quantization of CWR* (an effective CL approach) that considers differently forward and backward pass in order to retain more precision during gradient update step and at the same time minimizing the latency overhead. The choice of a binary network as backbone is essential to meet the constraints of low power devices and, to the best of authors’ knowledge, this is the first attempt to prove on-device learning with BNN. The experimental validation carried out confirms the validity and the suitability of the proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google