Transformer and Snowball Graph Convolution Learning for Brain functional network Classification

要約

高度な深層学習手法、特にグラフ ニューラル ネットワーク (GNN) は、脳機能ネットワーク データから学習して脳疾患を予測することがますます期待されています。
この論文では、脳機能ネットワーク分類のための新しい Transformer およびスノーボール符号化ネットワーク (TSEN) を提案しました。これは、グラフ全体の表現を学習するために、グラフ スノーボール接続を備えた Transformer アーキテクチャを GNN に導入しました。
TSEN は、スノーボール エンコーディング レイヤーによってグラフ スノーボール接続とグラフ Transformer を組み合わせ、脳機能ネットワークのマルチスケール情報とグローバル パターンをキャプチャする能力を強化しました。
TSEN はまた、Transformer 構造への位置埋め込みとして雪だるまグラフ畳み込みを導入しました。これは、局所的なパターンを自然に捉えるためのシンプルかつ効果的な方法でした。
提案されたモデルを、それぞれ自閉症スペクトラム障害と大うつ病性障害の 2 つの大規模な脳機能ネットワーク データセットによって評価しました。その結果、TSEN が最先端の GNN モデルやグラフ変換ベースの GNN モデルよりも優れていることが実証されました。

要約(オリジナル)

Advanced deep learning methods, especially graph neural networks (GNNs), are increasingly expected to learn from brain functional network data and predict brain disorders. In this paper, we proposed a novel Transformer and snowball encoding networks (TSEN) for brain functional network classification, which introduced Transformer architecture with graph snowball connection into GNNs for learning whole-graph representation. TSEN combined graph snowball connection with graph Transformer by snowball encoding layers, which enhanced the power to capture multi-scale information and global patterns of brain functional networks. TSEN also introduced snowball graph convolution as position embedding in Transformer structure, which was a simple yet effective method for capturing local patterns naturally. We evaluated the proposed model by two large-scale brain functional network datasets from autism spectrum disorder and major depressive disorder respectively, and the results demonstrated that TSEN outperformed the state-of-the-art GNN models and the graph-transformer based GNN models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google