ENADPool: The Edge-Node Attention-based Differentiable Pooling for Graph Neural Networks

要約

グラフ ニューラル ネットワーク (GNN) は、グラフ分類のための強力なツールです。
GNN にとって重要な操作の 1 つは、ノード表現から効果的な埋め込みを学習できるダウンサンプリングまたはプーリングです。
この論文では、GNN が効果的なグラフ表現を学習するための新しい階層プーリング操作、つまりエッジノード アテンションベース微分可能プーリング (ENADPool) を提案します。
不明確なノード割り当てに基づいて各クラスターのノードの平均化された特徴を単純に計算する従来の階層プーリング操作とは異なり、提案された ENADPool はハード クラスタリング戦略を採用して各ノードを一意のクラスターに割り当てるだけでなく、
各プーリング ステップ後のアテンション メカニズムに基づいて、ノード フィーチャとそのエッジ接続強度を結果として得られる階層構造に組み込みます。
その結果、提案されたENADPoolは、分離された各クラスター内の異なるノードと、対応するクラスター間のエッジの重要性を同時に識別し、古典的な階層プーリング操作で生じる均一なエッジノードベースの構造情報集約の欠点を大幅に解決します。
さらに、既存の GNN で生じる過度の平滑化問題を軽減するために、提案された ENADPool 操作に関連付けられたマルチディスタンス GNN (MD-GNN) モデルを提案します。これにより、ノードが異なるランダムで近隣ノードから特徴情報をアクティブかつ直接受信できるようになります。
歩くステップ。
実験では、提案された ENADPool に関連付けられた MD-GNN の有効性が実証されています。

要約(オリジナル)

Graph Neural Networks (GNNs) are powerful tools for graph classification. One important operation for GNNs is the downsampling or pooling that can learn effective embeddings from the node representations. In this paper, we propose a new hierarchical pooling operation, namely the Edge-Node Attention-based Differentiable Pooling (ENADPool), for GNNs to learn effective graph representations. Unlike the classical hierarchical pooling operation that is based on the unclear node assignment and simply computes the averaged feature over the nodes of each cluster, the proposed ENADPool not only employs a hard clustering strategy to assign each node into an unique cluster, but also compress the node features as well as their edge connectivity strengths into the resulting hierarchical structure based on the attention mechanism after each pooling step. As a result, the proposed ENADPool simultaneously identifies the importance of different nodes within each separated cluster and edges between corresponding clusters, that significantly addresses the shortcomings of the uniform edge-node based structure information aggregation arising in the classical hierarchical pooling operation. Moreover, to mitigate the over-smoothing problem arising in existing GNNs, we propose a Multi-distance GNN (MD-GNN) model associated with the proposed ENADPool operation, allowing the nodes to actively and directly receive the feature information from neighbors at different random walk steps. Experiments demonstrate the effectiveness of the MD-GNN associated with the proposed ENADPool.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google