DeepHGCN: Toward Deeper Hyperbolic Graph Convolutional Networks

要約

双曲線グラフ畳み込みネットワーク (HGCN) は、階層グラフから情報を抽出する際に大きな可能性を示しています。
ただし、既存の HGCN は、双曲線演算の計算コストと、深さが増すにつれて過度に平滑化される問題により、浅いアーキテクチャに限定されています。
GCN の過度の平滑化を軽減するために処理が適用されてきましたが、双曲線の性質に適合するように操作を慎重に設計する必要があるため、双曲線解の開発には明確な課題が生じます。
これらの課題に対処するために、私たちは、計算効率が劇的に向上し、過度の平滑化が大幅に削減された初の深層多層 HGCN アーキテクチャである DeepHGCN を提案します。
DeepHGCN は 2 つの重要なイノベーションを備えています。(1) 高速かつ正確な線形マッピングを可能にする新しい双曲線特徴変換レイヤー、(2) 効率的な双曲線中点法によって促進される、重みと特徴の両方に対する双曲線残差接続や正則化などの技術。
広範な実験により、DeepHGCN は、ユークリッドおよび浅い双曲 GCN バリアントの両方と比較して、リンク予測およびノー​​ド分類タスクにおいて大幅な改善が達成されることが実証されています。

要約(オリジナル)

Hyperbolic graph convolutional networks (HGCNs) have demonstrated significant potential in extracting information from hierarchical graphs. However, existing HGCNs are limited to shallow architectures due to the computational expense of hyperbolic operations and the issue of over-smoothing as depth increases. Although treatments have been applied to alleviate over-smoothing in GCNs, developing a hyperbolic solution presents distinct challenges since operations must be carefully designed to fit the hyperbolic nature. Addressing these challenges, we propose DeepHGCN, the first deep multi-layer HGCN architecture with dramatically improved computational efficiency and substantially reduced over-smoothing. DeepHGCN features two key innovations: (1) a novel hyperbolic feature transformation layer that enables fast and accurate linear mappings, and (2) techniques such as hyperbolic residual connections and regularization for both weights and features, facilitated by an efficient hyperbolic midpoint method. Extensive experiments demonstrate that DeepHGCN achieves significant improvements in link prediction and node classification tasks compared to both Euclidean and shallow hyperbolic GCN variants.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google