PF-GNN: Differentiable particle filtering based approximation of universal graph representations

要約

メッセージ パッシング グラフ ニューラル ネットワーク (GNN) は、グラフ同型性の 1-WL カラーリファインメント テストによって表現力が制限されることが知られています。
他のより表現力豊かなモデルは、計算コストが高くなるか、グラフから構造的特徴を抽出するために前処理が必要になります。
この研究では、人工的に非対称性を導入し、1-WL が停止したときに色付けをさらに洗練する方法である個別化と洗練 (IR) のパラダイムに基づいて動作する正確な同型ソルバー技術を使用して学習プロセスをガイドすることで、GNN を普遍化することを提案します。
同型ソルバーは、リーフがグラフを一意に識別する色の検索ツリーを生成します。
ただし、木は急激に大きくなり、学習の観点からは望ましくない手作業の剪定技術が必要になります。
確率論的な観点から、検索ツリーのルートからリーフまでの複数のパスをサンプリングすることで、カラーリング (つまり埋め込み) の検索ツリーを近似します。
より識別的な表現を学習するために、逐次状態推定の原則的なアプローチである粒子フィルターの更新を使用してサンプリング プロセスをガイドします。
私たちのアルゴリズムはエンドツーエンドで微分可能であり、バックボーンとして任意の GNN に適用でき、実行時間の直線的な増加のみでより豊富なグラフ表現を学習します。
実験による評価では、私たちのアプローチが同型検出のための合成ベンチマークと実世界のデータセットの両方で主要な GNN モデルよりも一貫して優れていることが示されています。

要約(オリジナル)

Message passing Graph Neural Networks (GNNs) are known to be limited in expressive power by the 1-WL color-refinement test for graph isomorphism. Other more expressive models either are computationally expensive or need preprocessing to extract structural features from the graph. In this work, we propose to make GNNs universal by guiding the learning process with exact isomorphism solver techniques which operate on the paradigm of Individualization and Refinement (IR), a method to artificially introduce asymmetry and further refine the coloring when 1-WL stops. Isomorphism solvers generate a search tree of colorings whose leaves uniquely identify the graph. However, the tree grows exponentially large and needs hand-crafted pruning techniques which are not desirable from a learning perspective. We take a probabilistic view and approximate the search tree of colorings (i.e. embeddings) by sampling multiple paths from root to leaves of the search tree. To learn more discriminative representations, we guide the sampling process with particle filter updates, a principled approach for sequential state estimation. Our algorithm is end-to-end differentiable, can be applied with any GNN as backbone and learns richer graph representations with only linear increase in runtime. Experimental evaluation shows that our approach consistently outperforms leading GNN models on both synthetic benchmarks for isomorphism detection as well as real-world datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google