Predictive Learning in Energy-based Models with Attractor Structures

要約

予測モデルは、脳機能のメカニズムを理解する上で非常に高度です。
機械学習における最近の進歩は、学習における最適な表現の予測の力をさらに強調しています。
しかし、神経系が予測を達成する方法を説明する生物学的にもっともらしいモデルを作成することにはギャップが残っています。
この論文では、エネルギーベースのモデル（EBM）を採用して、神経系内の作用後の観察を予測する微妙なプロセスをキャプチャし、予測、学習、推論を含むフレームワークを紹介します。
階層構造を使用してEBMを実装し、生物学的にもっともらしいモデルを構築し、メモリ用に連続アトラクタニューラルネットワークを統合します。
実験的評価では、私たちのモデルは、多様なシナリオ全体で有効性を示しています。
アクションの範囲には、眼の動き、環境での動き、頭の回転、および環境が変化している間に静的な観察が含まれます。
私たちのモデルは、訓練された環境の正確な予測を行うだけでなく、目に見えない環境の合理的な予測を提供し、複数のタスクでの機械学習方法のパフォーマンスに一致させます。
この研究が、神経系がどのように予測を実行するかについての深い理解に貢献することを願っています。

要約(オリジナル)

Predictive models are highly advanced in understanding the mechanisms of brain function. Recent advances in machine learning further underscore the power of prediction for optimal representation in learning. However, there remains a gap in creating a biologically plausible model that explains how the neural system achieves prediction. In this paper, we introduce a framework that employs an energy-based model (EBM) to capture the nuanced processes of predicting observation after action within the neural system, encompassing prediction, learning, and inference. We implement the EBM with a hierarchical structure and integrate a continuous attractor neural network for memory, constructing a biologically plausible model. In experimental evaluations, our model demonstrates efficacy across diverse scenarios. The range of actions includes eye movement, motion in environments, head turning, and static observation while the environment changes. Our model not only makes accurate predictions for environments it was trained on, but also provides reasonable predictions for unseen environments, matching the performances of machine learning methods in multiple tasks. We hope that this study contributes to a deep understanding of how the neural system performs prediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google