Hierarchical Transformer for Scalable Graph Learning

要約

タイトル：Hierarchical Transformer for Scalable Graph Learning

要約：

– グラフ・トランスフォーマーは、機械学習の分野で注目されており、グラフ表現学習のベンチマークで最先端のパフォーマンスを示しています。
– しかし、グラフ・トランスフォーマーの現在の実装は、主に小規模グラフの表現学習に焦点が当てられており、大規模グラフに適用するとグローバル・セルフアテンション機構の二次的な複雑性がフルバッチトレーニングにおいて課題となります。
– さらに、従来のサンプリングベースの方法は、必要な高次の文脈情報を捉えることができず、パフォーマンスの大幅な低下を引き起こします。
– 本研究では、これらの課題の解決策として、階層的スケーラブルグラフトランスフォーマー（HSGT）を提供します。
– HSGTは、グラフの階層を粗めん技術によって構築し、異なるレベルのノード埋め込みでマルチスケール情報を効率的に更新および保存することで、トランスフォーマーアーキテクチャをノード表現学習タスクにスケーリングすることに成功しています。
– サンプリングベースのトレーニング方法と共に、HSGTは、トランスフォーマーブロックのみを使用して、階層グラフ上のマルチレベル情報を効果的にキャプチャおよび集約します。
– 実証評価により、HSGTは高効率で、ノードが数百万個含まれるグラフの大規模なベンチマークで最先端のパフォーマンスを達成しています。

要約(オリジナル)

Graph Transformer is gaining increasing attention in the field of machine learning and has demonstrated state-of-the-art performance on benchmarks for graph representation learning. However, as current implementations of Graph Transformer primarily focus on learning representations of small-scale graphs, the quadratic complexity of the global self-attention mechanism presents a challenge for full-batch training when applied to larger graphs. Additionally, conventional sampling-based methods fail to capture necessary high-level contextual information, resulting in a significant loss of performance. In this paper, we introduce the Hierarchical Scalable Graph Transformer (HSGT) as a solution to these challenges. HSGT successfully scales the Transformer architecture to node representation learning tasks on large-scale graphs, while maintaining high performance. By utilizing graph hierarchies constructed through coarsening techniques, HSGT efficiently updates and stores multi-scale information in node embeddings at different levels. Together with sampling-based training methods, HSGT effectively captures and aggregates multi-level information on the hierarchical graph using only Transformer blocks. Empirical evaluations demonstrate that HSGT achieves state-of-the-art performance on large-scale benchmarks with graphs containing millions of nodes with high efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI