Cluster-wise Graph Transformer with Dual-granularity Kernelized Attention

要約

グラフ学習の領域には、ノード クラスタリングを利用してより広範な構造情報を取得し、グラフを階層構造として概念化する手法のカテゴリがあります。
これらの方法は一般に効果的ですが、多くの場合、固定グラフ粗大化ルーチンに依存するため、クラスター表現が過度に均一になり、ノードレベルの情報が失われます。
このペーパーでは、各クラスターを単一の埋め込みに圧縮せずに、グラフを相互接続されたノード セットのネットワークとして想定します。
これらのノード セット間で効果的な情報転送を可能にするために、ノードからクラスターへのアテンション (N2C-Attn) メカニズムを提案します。
N2C-Attn は、マルチ カーネル学習の技術をカーネル化されたアテンション フレームワークに組み込んで、ノード レベルとクラスター レベルの両方で情報を効果的に取得します。
次に、クラスターごとのメッセージ パッシング フレームワークを使用して N2C-Attn の効率的な形式を考案し、線形時間計算量を実現します。
さらに、N2C-Attn がクエリとキーの 2 レベルの特徴マップをどのように組み合わせるかを分析し、二重粒度の情報をマージする機能を実証します。
結果として得られるアーキテクチャである Cluster-wise Graph Transformer (Cluster-GT) は、ノード クラスターをトークンとして使用し、私たちが提案する N2C-Attn モジュールを採用しており、さまざまなグラフ レベルのタスクで優れたパフォーマンスを示します。
コードは https://github.com/LUMIA-Group/Cluster-wise-Graph-Transformer で入手できます。

要約(オリジナル)

In the realm of graph learning, there is a category of methods that conceptualize graphs as hierarchical structures, utilizing node clustering to capture broader structural information. While generally effective, these methods often rely on a fixed graph coarsening routine, leading to overly homogeneous cluster representations and loss of node-level information. In this paper, we envision the graph as a network of interconnected node sets without compressing each cluster into a single embedding. To enable effective information transfer among these node sets, we propose the Node-to-Cluster Attention (N2C-Attn) mechanism. N2C-Attn incorporates techniques from Multiple Kernel Learning into the kernelized attention framework, effectively capturing information at both node and cluster levels. We then devise an efficient form for N2C-Attn using the cluster-wise message-passing framework, achieving linear time complexity. We further analyze how N2C-Attn combines bi-level feature maps of queries and keys, demonstrating its capability to merge dual-granularity information. The resulting architecture, Cluster-wise Graph Transformer (Cluster-GT), which uses node clusters as tokens and employs our proposed N2C-Attn module, shows superior performance on various graph-level tasks. Code is available at https://github.com/LUMIA-Group/Cluster-wise-Graph-Transformer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google