PredProp: Bidirectional Stochastic Optimization with Precision Weighted Predictive Coding

要約

タイトル：PredProp：精度重み付き予測コーディングに基づく双方向確率的最適化

要約：
– PredPropは、自然な勾配降下法を実装することで推論と学習を統合し、確率的勾配降下法により予測コーディングネットワーク（PCN）の重みと状態を最適化する手法である。
– 確率誤差の伝播と神経活動の精度に基づいて、PredPropは適応的にパラメータ更新を重み付けている。
– 伝播誤差共分散とFisher情報行列の関係により、PredPropは近似自然勾配降下法を実装する。
– （実験において）PredPropは、密なデコーダーネットワークと簡単な画像ベンチマークデータセットの文脈でAdamよりも優れたパフォーマンスを発揮することが明らかになった。
– PredPropの誤差精度は、重みパラメータの最適化に使用できる他の最適化手法にも有利に働く。
– 階層的予測コーディング層が個別に最適化されるため、必要な精度は階層的層を分解する。
– 単一セットのデコーダーレイヤーを階層ごとに持つ古典的なPCNを超えて、各PCN層の重みを因数分解して、PredPropを深層ニューラルネットワークにも一般化することができる。

要約(オリジナル)

We present PredProp, a method for optimization of weights and states in predictive coding networks (PCNs) based on the precision of propagated errors and neural activity. PredProp jointly addresses inference and learning via stochastic gradient descent and adaptively weights parameter updates by approximate curvature. Due to the relation between propagated error covariance and the Fisher information matrix, PredProp implements approximate Natural Gradient Descent. We demonstrate PredProp’s effectiveness in the context of dense decoder networks and simple image benchmark datasets. We found that PredProp performs favorably over Adam, a widely used adaptive learning rate optimizer in the tested configurations. Furthermore, available optimization methods for weight parameters benefit from using PredProp’s error precision during inference. Since hierarchical predictive coding layers are optimised individually using local errors, the required precisions factorize over hierarchical layers. Extending beyond classical PCNs with a single set of decoder layers per hierarchical layer, we also generalize PredProp to deep neural networks in each PCN layer by additionally factorizing over the weights in each PCN layer.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI