Greener GRASS: Enhancing GNNs with Encoding, Rewiring, and Attention

要約

グラフ ニューラル ネットワーク (GNN) は、グラフ構造データの機械学習のための重要なツールとなっています。
この論文では、新しい GNN アーキテクチャである Graph Attendant with Stochastic Structures (GRASS) を導入することにより、グラフ エンコーディング、グラフの再配線、およびグラフ アテンションの相乗的な組み合わせを検討します。
GRASS は、相対ランダム ウォーク確率 (RRWP) エンコーディングと新しい分解バリアント (D-RRWP) を利用して、構造情報を効率的に取得します。
ランダムな通常のグラフを重ね合わせて入力グラフを再配線し、長距離の情報伝播を強化します。
また、グラフ構造データに合わせた新しい追加的注意メカニズムも採用しています。
私たちの経験的評価は、GRASS が ZINC データセットでの平均絶対誤差の 20.3% 削減を含む、複数のベンチマーク データセットで最先端のパフォーマンスを達成することを示しています。

要約(オリジナル)

Graph Neural Networks (GNNs) have become important tools for machine learning on graph-structured data. In this paper, we explore the synergistic combination of graph encoding, graph rewiring, and graph attention, by introducing Graph Attention with Stochastic Structures (GRASS), a novel GNN architecture. GRASS utilizes relative random walk probabilities (RRWP) encoding and a novel decomposed variant (D-RRWP) to efficiently capture structural information. It rewires the input graph by superimposing a random regular graph to enhance long-range information propagation. It also employs a novel additive attention mechanism tailored for graph-structured data. Our empirical evaluations demonstrate that GRASS achieves state-of-the-art performance on multiple benchmark datasets, including a 20.3% reduction in mean absolute error on the ZINC dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google