Advancing Graph Neural Networks with HL-HGAT: A Hodge-Laplacian and Attention Mechanism Approach for Heterogeneous Graph-Structured Data

要約

グラフ ニューラル ネットワーク (GNN) は、グラフ内のノード間の関係を把握するのに効果的であることが証明されています。
この研究では、グラフをノード、エッジ、三角形、および $k$ シンプライスを含む単純な複合体として考えることで新しい視点を導入し、任意の $k$ シンプライス上でグラフ構造データの定義を可能にします。
私たちの貢献は、ホッジ・ラプラシアン異種グラフ アテンション ネットワーク (HL-HGAT) であり、$k$-simplice にわたる異種信号表現を学習するように設計されています。
HL-HGAT には、$k$-simplice に適用される HL 畳み込みフィルター (HL フィルター)、単純射影 (SP)、および単純アテンション プーリング (SAP) 演算子の 3 つの主要なコンポーネントが組み込まれています。
HL フィルターは、ホッジ ラプラシアン (HL) 演算子によってエンコードされた $k$ シンプライスの固有のトポロジーを活用し、$k$ 番目の HL 演算子のスペクトル領域内で動作します。
計算の課題に対処するために、空間的局在化特性を示す HL フィルターの多項式近似を導入します。
さらに、$k$-シンプライスを粗くするためのプーリング演算子を提案します。これは、トランスフォーマーとSP演算子を介したセルフアテンションとクロスアテンションのシンプリシアルアテンションメカニズムを通じて特徴を組み合わせ、シンプライスの複数の次元にわたるトポロジカルな相互接続をキャプチャします。
HL-HGAT は、NP 困難問題、グラフのマルチラベルおよび分類の課題、物流、コンピューター ビジョン、生物学、化学、神経科学におけるグラフ回帰タスクなど、さまざまなグラフ アプリケーションにわたって包括的に評価されます。
結果は、幅広いグラフベースのシナリオを処理する際のモデルの有効性と多用途性を示しています。

要約(オリジナル)

Graph neural networks (GNNs) have proven effective in capturing relationships among nodes in a graph. This study introduces a novel perspective by considering a graph as a simplicial complex, encompassing nodes, edges, triangles, and $k$-simplices, enabling the definition of graph-structured data on any $k$-simplices. Our contribution is the Hodge-Laplacian heterogeneous graph attention network (HL-HGAT), designed to learn heterogeneous signal representations across $k$-simplices. The HL-HGAT incorporates three key components: HL convolutional filters (HL-filters), simplicial projection (SP), and simplicial attention pooling (SAP) operators, applied to $k$-simplices. HL-filters leverage the unique topology of $k$-simplices encoded by the Hodge-Laplacian (HL) operator, operating within the spectral domain of the $k$-th HL operator. To address computation challenges, we introduce a polynomial approximation for HL-filters, exhibiting spatial localization properties. Additionally, we propose a pooling operator to coarsen $k$-simplices, combining features through simplicial attention mechanisms of self-attention and cross-attention via transformers and SP operators, capturing topological interconnections across multiple dimensions of simplices. The HL-HGAT is comprehensively evaluated across diverse graph applications, including NP-hard problems, graph multi-label and classification challenges, and graph regression tasks in logistics, computer vision, biology, chemistry, and neuroscience. The results demonstrate the model’s efficacy and versatility in handling a wide range of graph-based scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google