Error Optimization: Overcoming Exponential Signal Decay in Deep Predictive Coding Networks

要約

予測コーディング（PC）は、ニューラルネットワークトレーニングのためのバックプロパゲーションの生物学的にもっともらしい代替品を提供しますが、より深いアーキテクチャとの闘いを提供します。
この論文は、根本原因を特定します。勾配が深さとともに指数関数的に減衰し、数値精度の制約のために計算的に無視できる固有の信号減衰問題。
この基本的な制限に対処するために、エラー最適化（EO）を導入します。これは、シグナル減衰を排除しながらPCの理論的特性を保存する新しい再分析です。
EOは、状態ではなく予測エラーを最適化することにより、信号がすべてのレイヤーに同時に、減衰せずに到達することを可能にし、標準のPCよりも数桁速く収束します。
複数のアーキテクチャとデータセットの実験は、EOが従来のPCが苦労しているより深いモデルでもBackPropagationのパフォーマンスに一致することを示しています。
実用的な改善に加えて、私たちの仕事はPCダイナミクスに対する理論的洞察を提供し、デジタルハードウェアおよびそれ以降のより深いアーキテクチャに生物学的にインスパイアされた学習を拡大するための基盤を確立します。

要約(オリジナル)

Predictive Coding (PC) offers a biologically plausible alternative to backpropagation for neural network training, yet struggles with deeper architectures. This paper identifies the root cause: an inherent signal decay problem where gradients attenuate exponentially with depth, becoming computationally negligible due to numerical precision constraints. To address this fundamental limitation, we introduce Error Optimization (EO), a novel reparameterization that preserves PC’s theoretical properties while eliminating signal decay. By optimizing over prediction errors rather than states, EO enables signals to reach all layers simultaneously and without attenuation, converging orders of magnitude faster than standard PC. Experiments across multiple architectures and datasets demonstrate that EO matches backpropagation’s performance even for deeper models where conventional PC struggles. Besides practical improvements, our work provides theoretical insight into PC dynamics and establishes a foundation for scaling biologically-inspired learning to deeper architectures on digital hardware and beyond.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google