Predictive Coding Networks and Inference Learning: Tutorial and Survey

要約

近年、NeuroAI の旗印のもと、人工知能研究における神経科学にヒントを得たアプローチを改めて重視する声が高まっています。
その代表的な例は、予測コーディングの神経科学的フレームワークに基づいた予測コーディング ネットワーク (PCN) です。
このフレームワークは、脳を、フィードバック接続を通じて予測誤差を最小限に抑える階層的なベイジアン推論モデルとして捉えます。
バックプロパゲーション (BP) でトレーニングされた従来のニューラル ネットワークとは異なり、PCN は、BP では説明できない神経活動のパターンを説明する、より生物学的に妥当なアルゴリズムである推論学習 (IL) を利用します。
歴史的に、IL はより多くの計算量を必要としていましたが、最近の進歩により、十分な並列化により BP よりも高い効率を達成できることが実証されました。
さらに、PCN は数学的には従来のフィードフォワード ニューラル ネットワーク (FNN) のスーパーセットと考えることができ、トレーニング可能なアーキテクチャの範囲を大幅に拡張します。
本質的に確率的 (グラフィカル) 潜在変数モデルである PCN は、従来の人工ニューラル ネットワークを超えた、教師あり学習と教師なし (生成) モデリングの両方に多用途のフレームワークを提供します。
この研究では、PCN の包括的なレビューと詳細な正式な仕様を提供し、特に PCN を最新の ML 手法のコンテキスト内に位置づけます。
さらに、実際に実装するための Python ライブラリ (PRECO) も紹介します。
これにより、PC は将来の ML イノベーションの有望なフレームワークとして位置づけられます。

要約(オリジナル)

Recent years have witnessed a growing call for renewed emphasis on neuroscience-inspired approaches in artificial intelligence research, under the banner of NeuroAI. A prime example of this is predictive coding networks (PCNs), based on the neuroscientific framework of predictive coding. This framework views the brain as a hierarchical Bayesian inference model that minimizes prediction errors through feedback connections. Unlike traditional neural networks trained with backpropagation (BP), PCNs utilize inference learning (IL), a more biologically plausible algorithm that explains patterns of neural activity that BP cannot. Historically, IL has been more computationally intensive, but recent advancements have demonstrated that it can achieve higher efficiency than BP with sufficient parallelization. Furthermore, PCNs can be mathematically considered a superset of traditional feedforward neural networks (FNNs), significantly extending the range of trainable architectures. As inherently probabilistic (graphical) latent variable models, PCNs provide a versatile framework for both supervised learning and unsupervised (generative) modeling that goes beyond traditional artificial neural networks. This work provides a comprehensive review and detailed formal specification of PCNs, particularly situating them within the context of modern ML methods. Additionally, we introduce a Python library (PRECO) for practical implementation. This positions PC as a promising framework for future ML innovations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google