NeuroPath: A Neural Pathway Transformer for Joining the Dots of Human Connectomes

要約

最新のイメージング技術により、生体内で 2 つの異なる脳領域間の接続性を研究できるようになりましたが、解剖学的構造がどのように脳機能をサポートしているのか、また自発的な機能変動がどのようにして顕著な認知を生み出すのかについての深い理解は依然として得られていません。
一方、機械学習の分野では、神経画像データと表現型形質の間の非線形マッピングを確立するために多大な努力が払われてきました。
しかし、現在のアプローチには神経科学の洞察が欠如しているため、一過性の神経活動から認知行動を理解する上で重大な課題が生じています。
この課題に対処するために、このようなネットワーク神経科学の質問を高次トポロジーの表現力豊かなグラフ表現学習問題に定式化することで、構造的接続性 (SC) と機能的接続性 (FC) の結合メカニズムに焦点を当てます。
具体的には、トポロジカル迂回の概念を導入して、ユビキタスな FC (直接リンク) が、SC によって物理的に配線された神経経路 (迂回) によってどのようにサポートされているかを特徴付けます。この経路は、脳の構造と機能によって相互作用する循環ループを形成します。
機械学習の決まり文句では、SC-FC 結合の基礎となるマルチホップ迂回経路により、Transformer 内で新しいマルチヘッド セルフ アテンション メカニズムを考案し、SC と FC のペアのグラフからマルチモーダルな特徴表現をキャプチャできるようになります。
。
まとめると、我々は、前例のない量の神経画像から推定上のコネクトミック特徴表現を見つけるために、NeuroPath という造語である生物学にインスピレーションを得た深層モデルを提案します。これは、タスク認識や疾患診断などのさまざまな下流アプリケーションに組み込むことができます。
私たちは、教師ありゼロショット学習の下で、HCP や UK Biobank を含む大規模な公開データセットで NeuroPath を評価しました。NeuroPath による最先端のパフォーマンスは、ネットワーク神経科学における大きな可能性を示しています。

要約(オリジナル)

Although modern imaging technologies allow us to study connectivity between two distinct brain regions in-vivo, an in-depth understanding of how anatomical structure supports brain function and how spontaneous functional fluctuations emerge remarkable cognition is still elusive. Meanwhile, tremendous efforts have been made in the realm of machine learning to establish the nonlinear mapping between neuroimaging data and phenotypic traits. However, the absence of neuroscience insight in the current approaches poses significant challenges in understanding cognitive behavior from transient neural activities. To address this challenge, we put the spotlight on the coupling mechanism of structural connectivity (SC) and functional connectivity (FC) by formulating such network neuroscience question into an expressive graph representation learning problem for high-order topology. Specifically, we introduce the concept of topological detour to characterize how a ubiquitous instance of FC (direct link) is supported by neural pathways (detour) physically wired by SC, which forms a cyclic loop interacted by brain structure and function. In the clich\’e of machine learning, the multi-hop detour pathway underlying SC-FC coupling allows us to devise a novel multi-head self-attention mechanism within Transformer to capture multi-modal feature representation from paired graphs of SC and FC. Taken together, we propose a biological-inspired deep model, coined as NeuroPath, to find putative connectomic feature representations from the unprecedented amount of neuroimages, which can be plugged into various downstream applications such as task recognition and disease diagnosis. We have evaluated NeuroPath on large-scale public datasets including HCP and UK Biobank under supervised and zero-shot learning, where the state-of-the-art performance by our NeuroPath indicates great potential in network neuroscience.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google