Sparse Decomposition of Graph Neural Networks

要約

グラフ ニューラル ネットワーク (GNN) は、グラフ表現の学習において優れたパフォーマンスを示しますが、非常に多くのノードのメモリ フェッチを必要とする集約操作が原因で、推論コストが高くなる可能性があります。
この推論コストは、潜在的に動的なノードの特徴を反映するために \emph{オンライン予測} を使用して GNN モデルをデプロイする際の大きな障害となります。
これに対処するために、集約中に含まれるノードの数を減らすアプローチを提案します。
これは、拡張された近傍内で慎重に選択されたノードのサブセットの線形変換された特徴の加重和を使用してノード表現を近似することを学習する、スパース分解によって実現されます。
このアプローチは、グラフ ニューラル ネットワークの平均ノード次数と層の数に関して線形の複雑さを実現します。
スパース分解の最適パラメータを計算するアルゴリズムを導入し、元の GNN モデルの正確な近似を保証し、トレーニング時間を短縮し、学習プロセスを改善するための効果的な戦略を提示します。
広範な実験を通じて、私たちの方法が推論の高速化のために設計された他のベースラインよりも優れており、ノード分類と時空間予測タスクの両方で同等の推論時間で大幅な精度の向上を達成していることを実証しています。

要約(オリジナル)

Graph Neural Networks (GNN) exhibit superior performance in graph representation learning, but their inference cost can be high, due to an aggregation operation that can require a memory fetch for a very large number of nodes. This inference cost is the major obstacle to deploying GNN models with \emph{online prediction} to reflect the potentially dynamic node features. To address this, we propose an approach to reduce the number of nodes that are included during aggregation. We achieve this through a sparse decomposition, learning to approximate node representations using a weighted sum of linearly transformed features of a carefully selected subset of nodes within the extended neighbourhood. The approach achieves linear complexity with respect to the average node degree and the number of layers in the graph neural network. We introduce an algorithm to compute the optimal parameters for the sparse decomposition, ensuring an accurate approximation of the original GNN model, and present effective strategies to reduce the training time and improve the learning process. We demonstrate via extensive experiments that our method outperforms other baselines designed for inference speedup, achieving significant accuracy gains with comparable inference times for both node classification and spatio-temporal forecasting tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google