Continual Deep Learning on the Edge via Stochastic Local Competition among Subnetworks

要約

エッジデバイスでの継続的な学習には、厳しいリソース制約があるため、特有の課題が生じます。
この論文では、確率的競争原理を活用してスパース性を促進し、ディープ ネットワークのメモリ フットプリントと計算需要を大幅に削減する新しい方法を紹介します。
具体的には、発生する新しいタスクのそれぞれの代表を獲得するためにローカルで競合するユニットのブロックで構成されるディープネットワークを提案します。
競争は確率的に起こります。
このタイプのネットワーク構成では、各ネットワーク層からのタスク固有の表現がまばらになります。
スパースパターンはトレーニング中に取得され、タスクごとに異なります。
重要なのは、私たちの方法では重みと重み勾配の両方がスパース化されているため、エッジ デバイスでのトレーニングが容易になります。
これは、ブロック内の各ユニットの当選確率に基づいて実行されます。
推論中、ネットワークは勝利ユニットのみを保持し、当面のタスクの非勝利ユニットに関連するすべての重みをゼロにします。
したがって、私たちのアプローチはエッジデバイスでの導入に特化して調整されており、リソースが限られた環境での継続的な学習のための効率的でスケーラブルなソリューションを提供します。

要約(オリジナル)

Continual learning on edge devices poses unique challenges due to stringent resource constraints. This paper introduces a novel method that leverages stochastic competition principles to promote sparsity, significantly reducing deep network memory footprint and computational demand. Specifically, we propose deep networks that comprise blocks of units that compete locally to win the representation of each arising new task; competition takes place in a stochastic manner. This type of network organization results in sparse task-specific representations from each network layer; the sparsity pattern is obtained during training and is different among tasks. Crucially, our method sparsifies both the weights and the weight gradients, thus facilitating training on edge devices. This is performed on the grounds of winning probability for each unit in a block. During inference, the network retains only the winning unit and zeroes-out all weights pertaining to non-winning units for the task at hand. Thus, our approach is specifically tailored for deployment on edge devices, providing an efficient and scalable solution for continual learning in resource-limited environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google