Cross-Space Adaptive Filter: Integrating Graph Topology and Node Attributes for Alleviating the Over-smoothing Problem

要約

バニラのグラフ畳み込みネットワーク (GCN) は、ローパス フィルターを使用してグラフ トポロジから低周波数信号を抽出します。これにより、GCN が深くなると過剰平滑化の問題が発生する可能性があります。
この目的のために、グラフトポロジから抽出された特別なフィルタ（例えば、ハイパスフィルタ）を組み込むことによって適応フィルタを作成するさまざまな方法が提案されている。
ただし、これらの方法はトポロジ情報に大きく依存し、ノード属性空間を無視するため、特に不分類グラフを扱う場合、深い GCN の表現力が大幅に犠牲になります。
この論文では、トポロジー空間と属性空間の両方から抽出された適応周波数情報を生成する、CSF と呼ばれるクロススペース適応フィルターを提案します。
具体的には、まず、理論的には半教師ありカーネル リッジ回帰の最小化関数として解釈できる、調整された属性ベースのハイパス フィルターを導出します。
次に、トポロジ ベースのローパス フィルターを GCN のコンテキスト内でマーサーのカーネルとしてキャストします。
これは、属性ベースのフィルターと組み合わせて適応周波数情報を取得するための基盤として機能します。
最後に、属性ベースのハイパス フィルターとトポロジ ベースのローパス フィルターを統合する効果的なマルチカーネル学習戦略を介してクロススペース フィルターを導出します。
これは、有効性を維持しながら過剰平滑化の問題に対処するのに役立ちます。
広範な実験により、CSF が過度の平滑化問題をうまく軽減するだけでなく、ノード分類タスクの有効性も促進することが実証されました。

要約(オリジナル)

The vanilla Graph Convolutional Network (GCN) uses a low-pass filter to extract low-frequency signals from graph topology, which may lead to the over-smoothing problem when GCN goes deep. To this end, various methods have been proposed to create an adaptive filter by incorporating an extra filter (e.g., a high-pass filter) extracted from the graph topology. However, these methods heavily rely on topological information and ignore the node attribute space, which severely sacrifices the expressive power of the deep GCNs, especially when dealing with disassortative graphs. In this paper, we propose a cross-space adaptive filter, called CSF, to produce the adaptive-frequency information extracted from both the topology and attribute spaces. Specifically, we first derive a tailored attribute-based high-pass filter that can be interpreted theoretically as a minimizer for semi-supervised kernel ridge regression. Then, we cast the topology-based low-pass filter as a Mercer’s kernel within the context of GCNs. This serves as a foundation for combining it with the attribute-based filter to capture the adaptive-frequency information. Finally, we derive the cross-space filter via an effective multiple-kernel learning strategy, which unifies the attribute-based high-pass filter and the topology-based low-pass filter. This helps to address the over-smoothing problem while maintaining effectiveness. Extensive experiments demonstrate that CSF not only successfully alleviates the over-smoothing problem but also promotes the effectiveness of the node classification task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google