HyPE-GT: where Graph Transformers meet Hyperbolic Positional Encodings

要約

グラフ トランスフォーマー (GT) は、ノードの位置情報を考慮せずにノード ペアの自己注意を計算することにより、グラフ構造データの理解を容易にします。
この制限に対処するために、位置エンコーディング (PE) を Transformer に導入し、非ユークリッド領域である双曲空間で学習可能な位置エンコーディングのセットを生成する、革新的で効率的なフレームワークを導入します。
このアプローチにより、双曲線ニューラル ネットワークまたは双曲線グラフ畳み込みネットワークを活用して、特定の下流タスクに最適な PE を選択するための多様なオプションを検討できるようになります。
さらに、これらの位置エンコーディングを再利用して、ディープ グラフ ニューラル ネットワーク (GNN) における過度の平滑化の影響を軽減します。
分子ベンチマーク データセット、共著者、および共同購入ネットワークに関する包括的な実験により、ディープ GNN のパフォーマンス向上における双曲線位置エンコーディングの有効性が実証されています。

要約(オリジナル)

Graph Transformers (GTs) facilitate the comprehension of graph-structured data by calculating the self-attention of node pairs without considering node position information. To address this limitation, we introduce an innovative and efficient framework that introduces Positional Encodings (PEs) into the Transformer, generating a set of learnable positional encodings in the hyperbolic space, a non-Euclidean domain. This approach empowers us to explore diverse options for optimal selection of PEs for specific downstream tasks, leveraging hyperbolic neural networks or hyperbolic graph convolutional networks. Additionally, we repurpose these positional encodings to mitigate the impact of over-smoothing in deep Graph Neural Networks (GNNs). Comprehensive experiments on molecular benchmark datasets, co-author, and co-purchase networks substantiate the effectiveness of hyperbolic positional encodings in enhancing the performance of deep GNNs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google