Learning to Control the Smoothness of Graph Convolutional Network Features

要約

Oono とスズキ [ICLR、2020] および Cai と Wang [arXiv:2006.13318] の先駆的な研究により、グラフ畳み込みネットワーク (GCN) 特徴の滑らかさの分析が初期化されました。
彼らの結果は、ノード分類精度と滑らかな特徴成分と滑らかでない特徴成分の比率との間の複雑な経験的相関関係を明らかにしています。
ただし、ノード分類に有利な最適な比率は不明であり、ReLU またはリーキー ReLU 活性化関数を伴うディープ GCN の非滑らかな特徴は減少します。
この論文では、ノードの分類を強化するために、GCN に望ましい滑らかさでノードの特徴を学習させ、データとタスクに適応させる新しい戦略を提案します。
私たちのアプローチには 3 つの重要なステップがあります: (1) ReLU または Leaky ReLU の入力と出力の間の幾何学的関係を確立します。
(2) 幾何学的な洞察に基づいて、学習可能な項を使用してグラフ畳み込み層 (GCL) のメッセージパッシング プロセスを強化し、計算効率によってノード特徴の滑らかさを調整します。
(3) 拡張メッセージ パッシング スキームを使用した GCN のスムーズな機能コンポーネントと非スムーズな機能コンポーネントの間の達成可能な比率を調査します。
私たちの広範な数値結果は、拡張されたメッセージパッシングスキームが GCN およびいくつかの関連モデルのノード分類を大幅に改善することを示しています。

要約(オリジナル)

The pioneering work of Oono and Suzuki [ICLR, 2020] and Cai and Wang [arXiv:2006.13318] initializes the analysis of the smoothness of graph convolutional network (GCN) features. Their results reveal an intricate empirical correlation between node classification accuracy and the ratio of smooth to non-smooth feature components. However, the optimal ratio that favors node classification is unknown, and the non-smooth features of deep GCN with ReLU or leaky ReLU activation function diminish. In this paper, we propose a new strategy to let GCN learn node features with a desired smoothness — adapting to data and tasks — to enhance node classification. Our approach has three key steps: (1) We establish a geometric relationship between the input and output of ReLU or leaky ReLU. (2) Building on our geometric insights, we augment the message-passing process of graph convolutional layers (GCLs) with a learnable term to modulate the smoothness of node features with computational efficiency. (3) We investigate the achievable ratio between smooth and non-smooth feature components for GCNs with the augmented message-passing scheme. Our extensive numerical results show that the augmented message-passing schemes significantly improve node classification for GCN and some related models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google