YOSO: You-Only-Sample-Once via Compressed Sensing for Graph Neural Network Training

要約

グラフ ニューラル ネットワーク (GNN) は、さまざまなドメインにわたる非ユークリッド データを分析するために不可欠なツールとなっています。
トレーニング段階では、特に大規模なアプリケーションにおいて、サンプリングは処理されるノードの数を制限することでレイテンシを短縮する上で重要な役割を果たします。
ただし、より優れた予測パフォーマンスへの要求が高まるにつれて、既存のサンプリング アルゴリズムはますます複雑になり、大幅なオーバーヘッドが発生します。
これを軽減するために、予測精度を維持しながら効率的なトレーニングを達成するように設計されたアルゴリズムである YOSO (You-Only-Sample-Once) を提案します。
YOSO は、圧縮センシング (CS) ベースのサンプリングおよび再構成フレームワークを導入します。このフレームワークでは、ノードが入力層で 1 回サンプリングされ、その後、エポックごとに出力層で無損失再構築が行われます。
YOSO は、再構成プロセスを特定の学習タスクの損失関数と統合することにより、正規直交基底計算などの従来の圧縮センシング (CS) 手法におけるコストのかかる計算を回避するだけでなく、ノード全体の参加と同等の高確率の精度保持を保証します。
ノード分類とリンク予測に関する実験結果は、YOSO の有効性と効率性を実証し、最高のパフォーマンスを誇るベースラインと同等の精度を維持しながら、最先端の方法と比較して GNN トレーニングを平均 75% 削減します。

要約(オリジナル)

Graph neural networks (GNNs) have become essential tools for analyzing non-Euclidean data across various domains. During training stage, sampling plays an important role in reducing latency by limiting the number of nodes processed, particularly in large-scale applications. However, as the demand for better prediction performance grows, existing sampling algorithms become increasingly complex, leading to significant overhead. To mitigate this, we propose YOSO (You-Only-Sample-Once), an algorithm designed to achieve efficient training while preserving prediction accuracy. YOSO introduces a compressed sensing (CS)-based sampling and reconstruction framework, where nodes are sampled once at input layer, followed by a lossless reconstruction at the output layer per epoch. By integrating the reconstruction process with the loss function of specific learning tasks, YOSO not only avoids costly computations in traditional compressed sensing (CS) methods, such as orthonormal basis calculations, but also ensures high-probability accuracy retention which equivalent to full node participation. Experimental results on node classification and link prediction demonstrate the effectiveness and efficiency of YOSO, reducing GNN training by an average of 75\% compared to state-of-the-art methods, while maintaining accuracy on par with top-performing baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google