Gradient-Free Training of Recurrent Neural Networks using Random Perturbations

要約

リカレント ニューラル ネットワーク (RNN) は、そのチューリング完全性と逐次処理能力により計算に計り知れない可能性を秘めていますが、そのトレーニングのための既存の方法では効率性の課題に直面しています。
一般的な方法である時間逆伝播 (BPTT) は、時間の経過とともに RNN を展開することによって逆伝播 (BP) アルゴリズムを拡張します。
ただし、このアプローチには、順方向位相と逆方向位相をインターリーブし、正確な勾配情報を保存する必要があるなど、重大な欠点があります。
さらに、BPTT は長いシーケンスの勾配情報を伝播するのに苦労し、勾配の消失につながることが示されています。
BPTT のような勾配ベースの手法を使用する別の戦略には、摂動ベースの手法を通じて確率的に勾配を近似することが含まれます。
この学習アプローチは非常にシンプルで、ネットワーク内での順方向パスとフィードバックとしてのグローバルな強化信号のみが必要です。
その単純さにもかかわらず、更新のランダムな性質により、通常、非効率的な最適化が発生し、ニューラル ネットワークのトレーニングにおける有効性が制限されます。
この研究では、勾配ベースの学習に対する固有の利点を維持しながら、そのパフォーマンスが BPTT と競合する RNN における摂動ベースの学習への新しいアプローチを紹介します。
この目的を達成するために、最近導入されたアクティビティベースのノード摂動 (ANP) 手法を時間領域で動作するように拡張し、より効率的な学習と一般化を実現します。
その後、アプローチを検証するためにさまざまな実験を実施します。
私たちの結果は、BPTT と比較して同様のパフォーマンス、収束時間、スケーラビリティを示し、標準的なノードおよび重み摂動手法を大幅に上回っています。
これらの発見は、摂動ベースの学習方法が、ニューロモーフィック コンピューティング アプリケーションに理想的に適した RNN をトレーニングするための勾配ベースの方法に代わる汎用性の高い代替手段を提供することを示唆しています。

要約(オリジナル)

Recurrent neural networks (RNNs) hold immense potential for computations due to their Turing completeness and sequential processing capabilities, yet existing methods for their training encounter efficiency challenges. Backpropagation through time (BPTT), the prevailing method, extends the backpropagation (BP) algorithm by unrolling the RNN over time. However, this approach suffers from significant drawbacks, including the need to interleave forward and backward phases and store exact gradient information. Furthermore, BPTT has been shown to struggle to propagate gradient information for long sequences, leading to vanishing gradients. An alternative strategy to using gradient-based methods like BPTT involves stochastically approximating gradients through perturbation-based methods. This learning approach is exceptionally simple, necessitating only forward passes in the network and a global reinforcement signal as feedback. Despite its simplicity, the random nature of its updates typically leads to inefficient optimization, limiting its effectiveness in training neural networks. In this study, we present a new approach to perturbation-based learning in RNNs whose performance is competitive with BPTT, while maintaining the inherent advantages over gradient-based learning. To this end, we extend the recently introduced activity-based node perturbation (ANP) method to operate in the time domain, leading to more efficient learning and generalization. We subsequently conduct a range of experiments to validate our approach. Our results show similar performance, convergence time and scalability compared to BPTT, strongly outperforming standard node and weight perturbation methods. These findings suggest that perturbation-based learning methods offer a versatile alternative to gradient-based methods for training RNNs which can be ideally suited for neuromorphic computing applications

arxiv情報

提供元, 利用サービス

arxiv.jp, Google