A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive Coding Networks

要約

予測コーディング ネットワークは、ベイズ統計と神経科学の両方にルーツを持つ、神経科学にインスピレーションを得たモデルです。
ただし、このようなモデルのトレーニングは非常に非効率的で不安定です。
この研究では、シナプス重みの更新ルールの一時的なスケジューリングを変更するだけで、元のアルゴリズムよりもはるかに効率的で安定しており、収束の点で理論的な保証があるアルゴリズムがどのように得られるかを示します。
私たちが増分予測符号化 (iPC) と呼ぶ提案されたアルゴリズムは、完全に自動化されているため、元のアルゴリズムよりも生物学的にもっともらしいものです。
一連の広範な実験において、画像分類の多数のベンチマークや、条件付き言語モデルとマスク言語モデルの両方のトレーニングにおいて、テストの精度、効率、
そして、ハイパーパラメータの大規模なセットに関して収束します。

要約(オリジナル)

Predictive coding networks are neuroscience-inspired models with roots in both Bayesian statistics and neuroscience. Training such models, however, is quite inefficient and unstable. In this work, we show how by simply changing the temporal scheduling of the update rule for the synaptic weights leads to an algorithm that is much more efficient and stable than the original one, and has theoretical guarantees in terms of convergence. The proposed algorithm, that we call incremental predictive coding (iPC) is also more biologically plausible than the original one, as it it fully automatic. In an extensive set of experiments, we show that iPC constantly performs better than the original formulation on a large number of benchmarks for image classification, as well as for the training of both conditional and masked language models, in terms of test accuracy, efficiency, and convergence with respect to a large set of hyperparameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google