Fast Track to Winning Tickets: Repowering One-Shot Pruning for Graph Neural Networks

要約

グラフ ニューラル ネットワーク (GNN) は、さまざまなグラフ学習タスクで優れたパフォーマンスを示しますが、大規模なグラフに適用すると、計算オーバーヘッドによって広範な現実世界への応用が妨げられます。
この問題に対処するために、グラフ ロッタリー仮説 (GLT) が提案され、パフォーマンスを損なうことなくサブグラフとサブネットワーク、\textit{i.e.}、当選チケットを特定することを提唱しました。
現在の GLT 手法の有効性は主に、ワンショット プルーニングよりも高い安定性と優れたパフォーマンスを提供する反復マグニチュード プルーニング (IMP) の使用によるものです。
ただし、GLT の特定には、IMP で必要な反復的な枝刈りと再トレーニングが必要なため、計算コストが非常に高くなります。
このペーパーでは、ワンショット プルーニングと IMP の相関関係を再評価します。ワンショット チケットは IMP に比べて最適ではありませんが、より強力なパフォーマンスを持つチケットへの \textit{ファスト トラック}を提供します。
\textit{ファストトラック}の有効性を検証するために、ワンショットのプルーニングとノイズ除去のフレームワークを導入します。
現在の IMP ベースの GLT メソッドと比較して、私たちのフレームワークは \textbf{より高いスパース性} と \textbf{より高速な速度} により、グラフ宝くじのダブルウィンの状況を実現します。
4 つのバックボーンと 6 つのデータセットにわたる広範な実験を通じて、私たちの方法では、重みの疎性が $1.32\% – 45.62\%$ 向上し、グラフの疎性が $7.49\% – 22.71\%$ 増加し、さらに $1.7-44 \times$ の高速化が実証されました。
IMP ベースの方法よりも 95.3\%-98.6\%$ MAC を節約できます。

要約(オリジナル)

Graph Neural Networks (GNNs) demonstrate superior performance in various graph learning tasks, yet their wider real-world application is hindered by the computational overhead when applied to large-scale graphs. To address the issue, the Graph Lottery Hypothesis (GLT) has been proposed, advocating the identification of subgraphs and subnetworks, \textit{i.e.}, winning tickets, without compromising performance. The effectiveness of current GLT methods largely stems from the use of iterative magnitude pruning (IMP), which offers higher stability and better performance than one-shot pruning. However, identifying GLTs is highly computationally expensive, due to the iterative pruning and retraining required by IMP. In this paper, we reevaluate the correlation between one-shot pruning and IMP: while one-shot tickets are suboptimal compared to IMP, they offer a \textit{fast track} to tickets with a stronger performance. We introduce a one-shot pruning and denoising framework to validate the efficacy of the \textit{fast track}. Compared to current IMP-based GLT methods, our framework achieves a double-win situation of graph lottery tickets with \textbf{higher sparsity} and \textbf{faster speeds}. Through extensive experiments across 4 backbones and 6 datasets, our method demonstrates $1.32\% – 45.62\%$ improvement in weight sparsity and a $7.49\% – 22.71\%$ increase in graph sparsity, along with a $1.7-44 \times$ speedup over IMP-based methods and $95.3\%-98.6\%$ MAC savings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google