Sparse but Strong: Crafting Adversarially Robust Graph Lottery Tickets

要約

スパース隣接行列とスパース グラフ ニューラル ネットワーク (GNN) で構成されるグラフ ロッテリー チケット (GLT) は、高密度の対応物と比較して、推論レイテンシと計算フットプリントを大幅に削減できます。
これらの利点にもかかわらず、敵対的な構造の摂動に対するそのパフォーマンスはまだ十分に調査されていません。
この研究では、まず、さまざまな構造摂動攻撃に対する GLT の回復力を調査し、GLT が非常に脆弱であり、分類精度が大幅に低下していることを観察しました。
この観察に基づいて、グラフの相同性特性と、トレイン ノードとトレイン ノードの真のラベルの両方に関連する情報をキャプチャする新しい損失関数を最適化することで、隣接行列と GNN 重みを除去する、敵対的にロバストなグラフ スパース化 (ARGS) フレームワークを提示します。
テストノードの擬似ラベル。
ARGS を繰り返し適用して摂動グラフ隣接行列と GNN モデルの重みの両方をプルーニングすることで、高度にスパースでありながら、さまざまな対象外のトレーニング時間構造攻撃の下で競争力のあるパフォーマンスを達成する、敵対的に堅牢なグラフ抽選チケットを見つけることができます。
さまざまなポイズニング構造攻撃、つまり PGD、Meta Attack、Meta-PGD、PR-BCD を考慮したさまざまなベンチマークで行われた評価では、ARGS によって生成された GLT は、高レベルのスパース性にさらされた場合でも、堅牢性を大幅に向上できることが実証されています。

要約(オリジナル)

Graph Lottery Tickets (GLTs), comprising a sparse adjacency matrix and a sparse graph neural network (GNN), can significantly reduce the inference latency and compute footprint compared to their dense counterparts. Despite these benefits, their performance against adversarial structure perturbations remains to be fully explored. In this work, we first investigate the resilience of GLTs against different structure perturbation attacks and observe that they are highly vulnerable and show a large drop in classification accuracy. Based on this observation, we then present an adversarially robust graph sparsification (ARGS) framework that prunes the adjacency matrix and the GNN weights by optimizing a novel loss function capturing the graph homophily property and information associated with both the true labels of the train nodes and the pseudo labels of the test nodes. By iteratively applying ARGS to prune both the perturbed graph adjacency matrix and the GNN model weights, we can find adversarially robust graph lottery tickets that are highly sparse yet achieve competitive performance under different untargeted training-time structure attacks. Evaluations conducted on various benchmarks, considering different poisoning structure attacks, namely, PGD, MetaAttack, Meta-PGD, and PR-BCD demonstrate that the GLTs generated by ARGS can significantly improve the robustness, even when subjected to high levels of sparsity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google