Neighbor Overlay-Induced Graph Attention Network

要約

グラフ ニューラル ネットワーク (GNN) は、グラフ データを表現できるため、大きな注目を集めています。
さまざまな GNN バリアントの中でも、グラフ アテンション ネットワーク (GAT) は、さまざまなノードの重要性を動的に学習できるため、際立っています。
ただし、現在の GAT は、グラフ構造情報ではなく、アテンション係数を取得するために平滑化されたノードの特徴に大きく依存しているため、ノード表現に重要なコンテキスト上の手がかりを提供できません。
この問題に対処するために、この研究では、次の 2 つのアイデアを備えた隣接オーバーレイ誘発グラフ アテンション ネットワーク (NO-GAT) を提案します。 a) 隣接関係からのノード特徴伝播プロセスの外側で、有利な構造情報、つまりオーバーレイされた隣接要素を学習する
マトリックス;
b) オーバーレイされた隣接ノードの情報をノード特徴伝播プロセスに注入して、注意係数を共同で計算します。
グラフベンチマークデータセットに関する実証研究は、提案された NO-GAT が常に最先端のモデルを上回るパフォーマンスを示していることを示しています。

要約(オリジナル)

Graph neural networks (GNNs) have garnered significant attention due to their ability to represent graph data. Among various GNN variants, graph attention network (GAT) stands out since it is able to dynamically learn the importance of different nodes. However, present GATs heavily rely on the smoothed node features to obtain the attention coefficients rather than graph structural information, which fails to provide crucial contextual cues for node representations. To address this issue, this study proposes a neighbor overlay-induced graph attention network (NO-GAT) with the following two-fold ideas: a) learning favorable structural information, i.e., overlaid neighbors, outside the node feature propagation process from an adjacency matrix; b) injecting the information of overlaid neighbors into the node feature propagation process to compute the attention coefficient jointly. Empirical studies on graph benchmark datasets indicate that the proposed NO-GAT consistently outperforms state-of-the-art models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google