Fast and Robust Contextual Node Representation Learning over Dynamic Graphs

要約

実際のグラフは時間の経過とともにエッジや頂点の挿入によって急速に成長し、進化するグラフにわたって堅牢なノード表現を効率的に維持するという問題が生じます。
最近の効率的な GNN は、再帰的なメッセージの受け渡しを学習プロセスから切り離し、基盤となる機能伝播メカニズムとして Personalized PageRank (PPR) を優先するように設計されています。
ただし、ほとんどの PPR ベースの GNN は静的グラフ用に設計されており、効率的な PPR メンテナンスは未解決の問題のままです。
さらに、驚くべきことに、PPR の優れた経験的パフォーマンスにもかかわらず、PPR の選択に対する理論的正当性はほとんどありません。
この論文では、明示的な $\ell_1$ 正則化最適化問題としての最近の PPR 定式化に触発され、スパースなノードごとの注意に基づく統合された動的グラフ学習フレームワークを提案します。
また、STOA GNN での PPR の選択を正当化する一連の望ましいプロパティも提示し、将来のノード アテンション設計のガイドラインとして機能します。
一方、PPR と同等の最適化定式化を利用し、近位勾配法 (ISTA) を採用して、PPR ベースの GNN の効率を最大 6 倍向上させます。
最後に、以前にアテンションとして使用されていた PPR を最大化することにより、堅牢な位置エンコーディングを備えたシンプルでありながら効果的なモデル (\textsc{GoPPE}) をインスタンス化します。
このモデルは、STOA ベースラインと同等かそれ以上のパフォーマンスを示し、グラフの展開中に初期ノード属性にノイズが多い場合でもパフォーマンスを大幅に上回り、 \textsc{GoPPE} の有効性と堅牢性を示しています。

要約(オリジナル)

Real-world graphs grow rapidly with edge and vertex insertions over time, motivating the problem of efficiently maintaining robust node representation over evolving graphs. Recent efficient GNNs are designed to decouple recursive message passing from the learning process, and favor Personalized PageRank (PPR) as the underlying feature propagation mechanism. However, most PPR-based GNNs are designed for static graphs, and efficient PPR maintenance remains as an open problem. Further, there is surprisingly little theoretical justification for the choice of PPR, despite its impressive empirical performance. In this paper, we are inspired by the recent PPR formulation as an explicit $\ell_1$-regularized optimization problem and propose a unified dynamic graph learning framework based on sparse node-wise attention. We also present a set of desired properties to justify the choice of PPR in STOA GNNs, and serves as the guideline for future node attention designs. Meanwhile, we take advantage of the PPR-equivalent optimization formulation and employ the proximal gradient method (ISTA) to improve the efficiency of PPR-based GNNs upto 6 times. Finally, we instantiate a simple-yet-effective model (\textsc{GoPPE}) with robust positional encodings by maximizing PPR previously used as attention. The model performs comparably to or better than the STOA baselines and greatly outperforms when the initial node attributes are noisy during graph evolution, demonstrating the effectiveness and robustness of \textsc{GoPPE}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google