Supervised Attention Using Homophily in Graph Neural Networks

要約

グラフ ニューラル ネットワークは、グラフ上の学習問題を処理するための標準的なアプローチになっています。
グラフ ニューラル ネットワークのさまざまなバリエーションの中で、グラフ アテンション ネットワーク (GAT) はさまざまなタスクに適用され、大きな成功を収めています。
GAT モデルでは、各ノードはアテンション メカニズムを使用して近隣ノードに重要度スコアを割り当てます。
ただし、他のグラフ ニューラル ネットワークと同様に、GAT は異なるクラスに属するノードからのメッセージを集約するため、異なるクラスに関して十分に分離されていないノード表現を生成し、パフォーマンスが低下する可能性があります。
この研究では、この問題を軽減するために、同じクラス ラベルを共有するノード間でより高い注意スコアを促進するために、任意のグラフ アテンション モデルに組み込むことができる新しい手法を提案します。
提案された方法をいくつかのノード分類データセットで評価し、標準のベースライン モデルよりもパフォーマンスが向上していることを示しています。

要約(オリジナル)

Graph neural networks have become the standard approach for dealing with learning problems on graphs. Among the different variants of graph neural networks, graph attention networks (GATs) have been applied with great success to different tasks. In the GAT model, each node assigns an importance score to its neighbors using an attention mechanism. However, similar to other graph neural networks, GATs aggregate messages from nodes that belong to different classes, and therefore produce node representations that are not well separated with respect to the different classes, which might hurt their performance. In this work, to alleviate this problem, we propose a new technique that can be incorporated into any graph attention model to encourage higher attention scores between nodes that share the same class label. We evaluate the proposed method on several node classification datasets demonstrating increased performance over standard baseline models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google