LLS: Local Learning Rule for Deep Neural Networks Inspired by Neural Activity Synchronization

要約

従来のバックプロパゲーション (BP) を使用したディープ ニューラル ネットワーク (DNN) のトレーニングには、特に計算リソースが限られているオンデバイス学習の場合、計算の複雑さとエネルギー消費の点で課題が生じます。
これらの課題に対処するために、ランダム フィードバック アラインメント、前方前方分類子、ローカル分類子など、BP に代わるさまざまな方法が検討されてきました。
これらの方法には利点がありますが、複雑な視覚的タスクを処理する場合や、かなりの計算リソースを必要とする場合に問題が発生する可能性があります。
この論文では、脳内で観察される神経活動同期現象 (LLS) にヒントを得た新しいローカル学習ルールを提案します。
LLS は固定周期基底ベクトルを利用して各層内のニューロン活動を同期させ、追加のトレーニング可能なパラメーターを必要とせずに効率的なトレーニングを可能にします。
複数の画像分類データセットに対する LLS とそのバリエーションである LLS-M および LLS-MxM の有効性を実証し、計算の複雑さを軽減し追加パラメーターを最小限に抑えながら BP に匹敵する精度を達成します。
具体的には、LLS は、最大 300 倍少ない積和演算 (MAC) 演算と BP の半分のメモリ要件で同等のパフォーマンスを実現します。
さらに、Visual Wake Word (VWW) データセット上の LLS のパフォーマンスは、オンデバイス学習タスクへの適性を強調しており、エッジ ハードウェア実装の有望な候補となっています。

要約(オリジナル)

Training deep neural networks (DNNs) using traditional backpropagation (BP) presents challenges in terms of computational complexity and energy consumption, particularly for on-device learning where computational resources are limited. Various alternatives to BP, including random feedback alignment, forward-forward, and local classifiers, have been explored to address these challenges. These methods have their advantages, but they can encounter difficulties when dealing with intricate visual tasks or demand considerable computational resources. In this paper, we propose a novel Local Learning rule inspired by neural activity Synchronization phenomena (LLS) observed in the brain. LLS utilizes fixed periodic basis vectors to synchronize neuron activity within each layer, enabling efficient training without the need for additional trainable parameters. We demonstrate the effectiveness of LLS and its variations, LLS-M and LLS-MxM, on multiple image classification datasets, achieving accuracy comparable to BP with reduced computational complexity and minimal additional parameters. Specifically, LLS achieves comparable performance with up to $300 \times$ fewer multiply-accumulate (MAC) operations and half the memory requirements of BP. Furthermore, the performance of LLS on the Visual Wake Word (VWW) dataset highlights its suitability for on-device learning tasks, making it a promising candidate for edge hardware implementations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google