Bayesian Integration of Information Using Top-Down Modulated WTA Networks

要約

スパイキング ニューラル ネットワーク (SNN) の一種である Winner Take All (WTA) 回路は、ベイジアン方式で情報を処理する脳の能力を促進すると示唆されています。
研究によると、WTA 回路は期待値最大化 (EM) を介して階層ベイジアン モデルを近似できることがわかっています。
これまでのところ、この方向の研究はボトムアッププロセスに焦点を当ててきました。
これは、ボトムアップのプロセスに加えて、トップダウンのプロセスも人間の脳による情報処理において重要な役割を果たしているという神経科学的証拠に反しています。
トップダウンのプロセスに帰せられるいくつかの機能には、注意の方向付け、期待に合わせた調整、学習した情報やイメージの符号化と想起の促進などが含まれます。
このペーパーでは、WTA 回線が別々の WTA ネットワークで表現される情報をさらに統合するのに適しているかどうかを検討します。
さらに、トップダウン プロセスが推論と学習に関して WTA ネットワークのパフォーマンスを向上させることができるかどうか、またどのような状況下で改善できるかを調査します。
この結果は、WTA 回路が他の WTA ネットワークによって表される確率情報を統合できること、およびトップダウン プロセスにより WTA ネットワークの推論および学習パフォーマンスを向上できることが示されています。
特に、主要なニューロモーフィック原則に従ってこれを実行できるため、ニューロモーフィック ハードウェアでの低遅延でエネルギー効率の高い実装に最適です。

要約(オリジナル)

Winner Take All (WTA) circuits a type of Spiking Neural Networks (SNN) have been suggested as facilitating the brain’s ability to process information in a Bayesian manner. Research has shown that WTA circuits are capable of approximating hierarchical Bayesian models via Expectation Maximization (EM). So far, research in this direction has focused on bottom up processes. This is contrary to neuroscientific evidence that shows that, besides bottom up processes, top down processes too play a key role in information processing by the human brain. Several functions ascribed to top down processes include direction of attention, adjusting for expectations, facilitation of encoding and recall of learned information, and imagery. This paper explores whether WTA circuits are suitable for further integrating information represented in separate WTA networks. Furthermore, it explores whether, and under what circumstances, top down processes can improve WTA network performance with respect to inference and learning. The results show that WTA circuits are capable of integrating the probabilistic information represented by other WTA networks, and that top down processes can improve a WTA network’s inference and learning performance. Notably, it is able to do this according to key neuromorphic principles, making it ideal for low-latency and energy efficient implementation on neuromorphic hardware.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google