Low-Variance Forward Gradients using Direct Feedback Alignment and Momentum

要約

ディープ ニューラル ネットワークの教師あり学習は、通常、誤差逆伝播を使用して実行されます。
ただし、バックワードパス中のエラーの連続的な伝播により、低電力のニューロモーフィックハードウェアへのスケーラビリティと適用性が制限されます。
したがって、バックプロパゲーションに代わる局所的な代替手段を見つけることへの関心が高まっています。
順モード自動微分に基づいて最近提案された方法は、大規模なディープ ニューラル ネットワークでの大きな分散に悩まされ、収束に影響を及ぼします。
この論文では、アクティビティ摂動前方勾配と直接フィードバック アライメントおよび運動量を組み合わせた前方直接フィードバック アライメント アルゴリズムを提案します。
私たちは、提案した方法が順勾配法よりも低い分散を達成するという理論的証明と経験的証拠の両方を提供します。
このようにして、私たちのアプローチは、バックプロパゲーションの他のローカル代替手段と比較して、より高速な収束とより優れたパフォーマンスを可能にし、ニューロモーフィックシステムと互換性のあるオンライン学習アルゴリズムの開発に新しい展望を開きます。

要約(オリジナル)

Supervised learning in deep neural networks is commonly performed using error backpropagation. However, the sequential propagation of errors during the backward pass limits its scalability and applicability to low-powered neuromorphic hardware. Therefore, there is growing interest in finding local alternatives to backpropagation. Recently proposed methods based on forward-mode automatic differentiation suffer from high variance in large deep neural networks, which affects convergence. In this paper, we propose the Forward Direct Feedback Alignment algorithm that combines Activity-Perturbed Forward Gradients with Direct Feedback Alignment and momentum. We provide both theoretical proofs and empirical evidence that our proposed method achieves lower variance than forward gradient techniques. In this way, our approach enables faster convergence and better performance when compared to other local alternatives to backpropagation and opens a new perspective for the development of online learning algorithms compatible with neuromorphic systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google