Topology-guided Hypergraph Transformer Network: Unveiling Structural Insights for Improved Representation

要約

ハイパーグラフは、高次の関係を表現できる機能を備え、従来のグラフの大幅な拡張として登場しました。
グラフ ニューラル ネットワーク (GNN) は、グラフ表現の学習において顕著なパフォーマンスを発揮しますが、ハイパーグラフへの拡張では、複雑な構造のため課題に直面します。
さらに、GNN の特殊なバリアントである現在のハイパーグラフ トランスフォーマーは、ノードとハイパーエッジの位相属性を無視して、意味論的な特徴ベースの自己注意を利用します。
これらの課題に対処するために、私たちはトポロジーガイド型ハイパーグラフトランスフォーマーネットワーク (THTN) を提案します。
このモデルでは、まずグラフ内の高次の関係を学習するために、その構造的本質を保持しながらグラフからハイパーグラフを定式化します。
次に、ノードの位相情報と空間情報をノードの表現に組み込むための、シンプルだが効果的な構造的および空間的エンコード モジュールを設計します。
さらに、意味論的観点と構造的観点の両方から重要なノードとハイパーエッジを発見する構造認識型自己注意メカニズムを提示します。
これら 2 つのモジュールを活用することで、THTN は改善されたノード表現を作成し、ローカルとグローバルの両方のトポロジ表現をキャプチャします。
ノード分類タスクに対して行われた広範な実験により、提案されたモデルのパフォーマンスが既存のアプローチのパフォーマンスを一貫して上回ることが実証されました。

要約(オリジナル)

Hypergraphs, with their capacity to depict high-order relationships, have emerged as a significant extension of traditional graphs. Although Graph Neural Networks (GNNs) have remarkable performance in graph representation learning, their extension to hypergraphs encounters challenges due to their intricate structures. Furthermore, current hypergraph transformers, a special variant of GNN, utilize semantic feature-based self-attention, ignoring topological attributes of nodes and hyperedges. To address these challenges, we propose a Topology-guided Hypergraph Transformer Network (THTN). In this model, we first formulate a hypergraph from a graph while retaining its structural essence to learn higher-order relations within the graph. Then, we design a simple yet effective structural and spatial encoding module to incorporate the topological and spatial information of the nodes into their representation. Further, we present a structure-aware self-attention mechanism that discovers the important nodes and hyperedges from both semantic and structural viewpoints. By leveraging these two modules, THTN crafts an improved node representation, capturing both local and global topological expressions. Extensive experiments conducted on node classification tasks demonstrate that the performance of the proposed model consistently exceeds that of the existing approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google