TEDDY: Trimming Edges with Degree-based Discrimination strategY

要約

グラフ ニューラル ネットワーク (GNN) の宝くじ仮説に関する先駆的な研究が Chen らによって提案されて以来、
(2021) 以来、グラフ宝くじ (GLT) の発見に関する研究は GNN コミュニティの極めて重要な焦点の 1 つとなっており、研究者は元の高密度ネットワークと同等のパフォーマンスを達成しながら、よりスパースな GLT を発見するよう促されています。
同時に、グラフ構造は GNN トレーニングのダイナミクスにおける重要な要素として大きな注目を集めており、これもいくつかの最近の研究によって解明されています。
それにもかかわらず、GLT に関する現代の研究は一般に、グラフ構造に固有の経路を十分に活用しておらず、反復的な方法でチケットを特定していませんが、これは時間がかかり、非効率的です。
これらの制限に対処するために、エッジ次数情報を組み込むことで構造情報を活用するワンショット エッジ スパース化フレームワークである TEDDY を導入します。
エッジのスパース化に続いて、$\ell_0$ ボール上の単純な投影勾配降下法を介してトレーニング中にパラメーターのスパース性を促進します。
グラフ構造とモデルパラメータの両方の目標スパース性レベルを考慮すると、TEDDY は 1 回のトレーニング内で GLT を効率的かつ迅速に実現することを容易にします。
注目すべきことに、私たちの実験結果は、特徴情報を考慮せずにグラフ構造のみを利用するワンショットのスパース化を実行する場合でも、TEDDY が一般化において従来の反復アプローチを大幅に上回ることを示しています。

要約(オリジナル)

Since the pioneering work on the lottery ticket hypothesis for graph neural networks (GNNs) was proposed in Chen et al. (2021), the study on finding graph lottery tickets (GLT) has become one of the pivotal focus in the GNN community, inspiring researchers to discover sparser GLT while achieving comparable performance to original dense networks. In parallel, the graph structure has gained substantial attention as a crucial factor in GNN training dynamics, also elucidated by several recent studies. Despite this, contemporary studies on GLT, in general, have not fully exploited inherent pathways in the graph structure and identified tickets in an iterative manner, which is time-consuming and inefficient. To address these limitations, we introduce TEDDY, a one-shot edge sparsification framework that leverages structural information by incorporating edge-degree information. Following edge sparsification, we encourage the parameter sparsity during training via simple projected gradient descent on the $\ell_0$ ball. Given the target sparsity levels for both the graph structure and the model parameters, our TEDDY facilitates efficient and rapid realization of GLT within a single training. Remarkably, our experimental results demonstrate that TEDDY significantly surpasses conventional iterative approaches in generalization, even when conducting one-shot sparsification that solely utilizes graph structures, without taking feature information into account.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google