Dance of SNN and ANN: Solving binding problem by combining spike timing and reconstructive attention

要約

束縛問題は、人工ニューラル ネットワーク (ANN) が人間の知覚のような世界を構成的に理解することを妨げる基本的な課題の 1 つです。複数のオブジェクトを含む複雑なデータが存在する場合、生成因子のもつれを解き、分散した表現が干渉し、あいまいさにつながる可能性があるためです。
提示されました。
この論文では、スパイク タイミング ダイナミクス (スパイキング ニューラル ネットワーク、SNN) を再構成的注意 (ANN による) と統合することにより、神経科学に由来する時間的結合理論を ANN に導入する、脳にヒントを得たハイブリッド ニューラル ネットワーク (HNN) を提案します。
スパイクのタイミングは、グループ化に追加の次元を提供しますが、再構築フィードバックはスパイクを時間的なコヒーレント状態に調整します。
ANN と SNN の反復的な相互作用により、モデルは、SNN コーディング スペースで代替の同期起動時間に複数のオブジェクトを継続的にバインドします。
モデルの有効性は、バイナリ イメージの合成データセットで評価されます。
視覚化と分析により、バインディングが説明可能で、ソフトで、柔軟で、階層的であることを示します。
特に、モデルは、グループ化に関する明示的な監督なしに単一のオブジェクト データセットでトレーニングされますが、テスト データセットで複数のオブジェクトを正常にバインドし、構成的な一般化機能を示します。
さらなる結果は、動的な状況での結合能力を示しています。

要約(オリジナル)

The binding problem is one of the fundamental challenges that prevent the artificial neural network (ANNs) from a compositional understanding of the world like human perception, because disentangled and distributed representations of generative factors can interfere and lead to ambiguity when complex data with multiple objects are presented. In this paper, we propose a brain-inspired hybrid neural network (HNN) that introduces temporal binding theory originated from neuroscience into ANNs by integrating spike timing dynamics (via spiking neural networks, SNNs) with reconstructive attention (by ANNs). Spike timing provides an additional dimension for grouping, while reconstructive feedback coordinates the spikes into temporal coherent states. Through iterative interaction of ANN and SNN, the model continuously binds multiple objects at alternative synchronous firing times in the SNN coding space. The effectiveness of the model is evaluated on synthetic datasets of binary images. By visualization and analysis, we demonstrate that the binding is explainable, soft, flexible, and hierarchical. Notably, the model is trained on single object datasets without explicit supervision on grouping, but successfully binds multiple objects on test datasets, showing its compositional generalization capability. Further results show its binding ability in dynamic situations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google