Feed-Forward Optimization With Delayed Feedback for Neural Networks

要約

【タイトル】ニューラルネットワークの遅延フィードバックを用いた前向き最適化

【要約】

– バックプロパゲーションは、自然な学習プロセスには適用できない概念に依存しているため、生物学的に現実的ではないと長い間批判されている。
– この論文では、生物学的な現実性と計算効率の2つの基本的な問題を解決するための代替手段を提案している。
– Feed-Forward with delayed Feedback (F$^3$)という手法を紹介し、従来の手法よりも遅延されたエラー情報をサンプルごとのスケーリング係数として利用することで、勾配の近似精度を向上させている。
– F$^3$を使用することで、生物学的に現実的なトレーニングアルゴリズムとバックプロパゲーションとの予測パフォーマンスの差を最大96%まで縮小することができることが分かった。
– これは、生物学的に現実的なトレーニングの適用可能性を証明し、低エネルギーでのトレーニングや並列化に向けた新たな可能性を開くことを示している。

要約(オリジナル)

Backpropagation has long been criticized for being biologically implausible, relying on concepts that are not viable in natural learning processes. This paper proposes an alternative approach to solve two core issues, i.e., weight transport and update locking, for biological plausibility and computational efficiency. We introduce Feed-Forward with delayed Feedback (F$^3$), which improves upon prior work by utilizing delayed error information as a sample-wise scaling factor to approximate gradients more accurately. We find that F$^3$ reduces the gap in predictive performance between biologically plausible training algorithms and backpropagation by up to 96%. This demonstrates the applicability of biologically plausible training and opens up promising new avenues for low-energy training and parallelization.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI