Transformer and Snowball Graph Convolution Learning for Biomedical Graph Classification

要約

グラフまたはネットワークは、生物医学の複雑なシステムを記述およびモデル化するために広く使用されています。
ディープ ラーニング手法、特にグラフ ニューラル ネットワーク (GNN) は、このような構造化データを学習および予測するために開発されています。
この論文では、生物医学グラフ分類のための新しいトランスフォーマーおよびスノーボール符号化ネットワーク (TSEN) を提案しました。これは、グラフ全体の表現を学習するために、グラフ スノーボール接続を備えたトランスフォーマー アーキテクチャを GNN に導入しました。
TSEN は、スノーボール エンコーディング層によってグラフ スノーボール接続とグラフ トランスフォーマーを組み合わせ、マルチスケール情報とグローバル パターンをキャプチャしてグラフ全体の特徴を学習する能力を強化しました。
一方、TSEN は、トランスフォーマー構造への位置埋め込みとしてスノーボール グラフ畳み込みも使用しました。
4 つのグラフ分類データセットを使用した実験の結果は、TSEN が最先端の典型的な GNN モデルおよびグラフ変換ベースの GNN モデルよりも優れていることを示しました。

要約(オリジナル)

Graph or network has been widely used for describing and modeling complex systems in biomedicine. Deep learning methods, especially graph neural networks (GNNs), have been developed to learn and predict with such structured data. In this paper, we proposed a novel transformer and snowball encoding networks (TSEN) for biomedical graph classification, which introduced transformer architecture with graph snowball connection into GNNs for learning whole-graph representation. TSEN combined graph snowball connection with graph transformer by snowball encoding layers, which enhanced the power to capture multi-scale information and global patterns to learn the whole-graph features. On the other hand, TSEN also used snowball graph convolution as position embedding in transformer structure, which was a simple yet effective method for capturing local patterns naturally. Results of experiments using four graph classification datasets demonstrated that TSEN outperformed the state-of-the-art typical GNN models and the graph-transformer based GNN models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google