Traveling Waves Integrate Spatial Information Through Time

要約

神経活動の移動波は脳で広く観察されていますが、それらの正確な計算機能は不明のままです。
顕著な仮説の1つは、神経集団間の空間情報の移動と統合を可能にするということです。
ただし、このような統合処理を実行するために、移動波がどのように活用されるかを調査した計算モデルはほとんどありません。
有名な「ドラムの形を聞くことができますか？」からインスピレーションを引き出します。
問題 – 波のダイナミクスの通常のモードが幾何学的情報をエンコードする方法を強調する – 同様の原則を人工ニューラルネットワークで活用できるかどうかを調査します。
具体的には、視覚刺激に応じて隠された状態で移動波を生成することを学ぶ通性再発性ニューラルネットワークを導入し、空間的統合を可能にします。
その後、これらの波のような活性化シーケンスを視覚表現自体として扱うことにより、グローバルな空間コンテキストを必要とするタスク上のローカルフィードフォワードネットワークを上回る強力な表現空間を取得します。
特に、移動波は局所的に接続されたニューロンの受容フィールドを効果的に拡大し、長距離エンコードと情報の通信をサポートすることが観察されます。
このメカニズムを装備したモデルは、グローバルな統合を要求する視覚セマンティックセグメンテーションタスクを解決し、ローカルフィードフォワードモデルを大幅に上回り、パラメーターが少ない非ローカルU-NETモデルに匹敵することを実証します。
人工ネットワークにおける旅行波ベースのコミュニケーションと視覚的表現への最初のステップとして、我々の調査結果は、波動部門が効率とトレーニングの安定性の利点を提供すると同時に、モデルを神経活動の生物学的記録に接続するための新しいフレームワークを提供する可能性があることを示唆しています。

要約(オリジナル)

Traveling waves of neural activity are widely observed in the brain, but their precise computational function remains unclear. One prominent hypothesis is that they enable the transfer and integration of spatial information across neural populations. However, few computational models have explored how traveling waves might be harnessed to perform such integrative processing. Drawing inspiration from the famous ‘Can one hear the shape of a drum?’ problem — which highlights how normal modes of wave dynamics encode geometric information — we investigate whether similar principles can be leveraged in artificial neural networks. Specifically, we introduce convolutional recurrent neural networks that learn to produce traveling waves in their hidden states in response to visual stimuli, enabling spatial integration. By then treating these wave-like activation sequences as visual representations themselves, we obtain a powerful representational space that outperforms local feed-forward networks on tasks requiring global spatial context. In particular, we observe that traveling waves effectively expand the receptive field of locally connected neurons, supporting long-range encoding and communication of information. We demonstrate that models equipped with this mechanism solve visual semantic segmentation tasks demanding global integration, significantly outperforming local feed-forward models and rivaling non-local U-Net models with fewer parameters. As a first step toward traveling-wave-based communication and visual representation in artificial networks, our findings suggest wave-dynamics may provide efficiency and training stability benefits, while simultaneously offering a new framework for connecting models to biological recordings of neural activity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google