AGNN: Alternating Graph-Regularized Neural Networks to Alleviate Over-Smoothing

要約

タイトル：AGNN：過度な平滑化を緩和するための交互グラフ正規化ニューラルネットワーク

要約：グラフ構造データを探索する強力な能力を持つグラフ畳み込みネットワーク（GCN）は、近年、注目すべき成功を収めています。しかし、既存のほとんどのGCNベースのモデルは、浅いネットワークが広く採用されることにより、悪名高い過度の平滑化問題に苦しんでいます。これは、遠隔のノードに情報を伝達することが有益であるため、複雑なグラフデータセットにとって問題がある場合があります。最近の研究では、残差接続構造を確立したり、多層モデルから予測を統合することなど、スムージング問題に取り組む努力がされています。深い層からの区別できない埋め込みを考えると、さまざまな層からの出力の結合を行う前に、より信頼性の高い予測を生成することは合理的です。このことから、我々はグラフ畳み込み層（GCL）とグラフ埋め込み層（GEL）から構成される交互グラフ正則化ニューラルネットワーク（AGNN）を提案します。GELは、ラプラシアン埋め込み項を含むグラフ正則化最適化から派生したもので、低階層の特徴空間から高階層空間への周期的な投影により、スムージング問題を緩和することができます。異なる層の区別できる特徴をもっともられるように、改良されたAdaboost戦略を利用して、各層からの出力を集積し、複数ホップの隣人の統合された埋め込みを探索します。提案モデルは、多層または多階層グラフニューラルネットワークとのパフォーマンス比較を含む多数の実験によって評価され、AGNNはステートオブジアートモデルと比較して優れたパフォーマンス改善を示します。

要約(オリジナル)

Graph Convolutional Network (GCN) with the powerful capacity to explore graph-structural data has gained noticeable success in recent years. Nonetheless, most of the existing GCN-based models suffer from the notorious over-smoothing issue, owing to which shallow networks are extensively adopted. This may be problematic for complex graph datasets because a deeper GCN should be beneficial to propagating information across remote neighbors. Recent works have devoted effort to addressing over-smoothing problems, including establishing residual connection structure or fusing predictions from multi-layer models. Because of the indistinguishable embeddings from deep layers, it is reasonable to generate more reliable predictions before conducting the combination of outputs from various layers. In light of this, we propose an Alternating Graph-regularized Neural Network (AGNN) composed of Graph Convolutional Layer (GCL) and Graph Embedding Layer (GEL). GEL is derived from the graph-regularized optimization containing Laplacian embedding term, which can alleviate the over-smoothing problem by periodic projection from the low-order feature space onto the high-order space. With more distinguishable features of distinct layers, an improved Adaboost strategy is utilized to aggregate outputs from each layer, which explores integrated embeddings of multi-hop neighbors. The proposed model is evaluated via a large number of experiments including performance comparison with some multi-layer or multi-order graph neural networks, which reveals the superior performance improvement of AGNN compared with state-of-the-art models.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI