Tackling Oversmoothing in GNN via Graph Sparsification: A Truss-based Approach

要約

グラフ ニューラル ネットワーク (GNN) は、社会ネットワークから生物学的ネットワークに至るまで、さまざまなドメインのネットワークの意味のあるトポロジ構造をエンコードすることにより、ノード レベルおよびグラフ レベルのタスクで大きな成功を収めます。
ただし、集約操作を繰り返すと、特に複数の GNN 層を持つ密な領域でノード表現が過度に混合され、埋め込みがほとんど区別できなくなります。
この現象は、下流のグラフ分析タスクを妨げる過度の平滑化問題を引き起こします。
この問題を克服するために、グラフの密な領域からエッジを刈り取る、新しくて柔軟なトラスベースのグラフ疎化モデルを提案します。
密集領域内の冗長なエッジを刈り込むことは、GNN モデルでの階層メッセージの受け渡しおよびプーリング中に過剰な近傍情報が集約されるのを防ぐのに役立ちます。
次に、GIN、SAGPool、GMT、DiffPool、MinCutPool、HGP-SL、DMonPool、AdamGNN などの最先端のベースライン GNN とプーリング モデルでスパース化モデルを利用します。
さまざまな現実世界のデータセットに対する広範な実験により、私たちのモデルがグラフ分類タスクにおけるベースライン GNN モデルのパフォーマンスを大幅に向上させることが示されました。

要約(オリジナル)

Graph Neural Network (GNN) achieves great success for node-level and graph-level tasks via encoding meaningful topological structures of networks in various domains, ranging from social to biological networks. However, repeated aggregation operations lead to excessive mixing of node representations, particularly in dense regions with multiple GNN layers, resulting in nearly indistinguishable embeddings. This phenomenon leads to the oversmoothing problem that hampers downstream graph analytics tasks. To overcome this issue, we propose a novel and flexible truss-based graph sparsification model that prunes edges from dense regions of the graph. Pruning redundant edges in dense regions helps to prevent the aggregation of excessive neighborhood information during hierarchical message passing and pooling in GNN models. We then utilize our sparsification model in the state-of-the-art baseline GNNs and pooling models, such as GIN, SAGPool, GMT, DiffPool, MinCutPool, HGP-SL, DMonPool, and AdamGNN. Extensive experiments on different real-world datasets show that our model significantly improves the performance of the baseline GNN models in the graph classification task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google