Can Large Language Models Improve the Adversarial Robustness of Graph Neural Networks?

要約

グラフ ニューラル ネットワーク (GNN) は、特にトポロジ攻撃に対する敵対的な摂動に対して脆弱であり、GNN の堅牢性を向上させる多くの方法がかなりの注目を集めています。
最近、大規模言語モデル (LLM) が大きな成功を収めているのを目の当たりにし、多くの人が GNN での LLM の大きな可能性を模索しています。
ただし、LLM を利用してノード機能を強化することにより、GNN のパフォーマンスを向上させることに主に焦点を当てています。
したがって、LLM の強力な理解および推論機能によって、GNN の堅牢性も強化されるのでしょうか?
実証結果を提示することで、LLM が GNN の堅牢性を向上させることができるにもかかわらず、依然として精度が平均 23.1% 低下していることがわかり、GNN が依然としてトポロジー攻撃に対して非常に脆弱であることを示唆しています。
したがって、もう 1 つの問題は、グラフの敵対的堅牢性に関する LLM の機能を拡張する方法です。
この論文では、LLM ベースのロバストなグラフ構造推論フレームワーク LLM4RGNN を提案します。これは、GPT-4 の推論機能を、悪意のあるエッジを識別するためのローカル LLM と、欠落している重要なエッジを見つけるための LM ベースのエッジ予測器に抽出します。
堅牢なグラフ構造を回復します。
広範な実験により、LLM4RGNN がさまざまな GNN 全体で堅牢性を一貫して向上させることが実証されました。
摂動比が 40% に増加する場合でも、GNN の精度はクリーンなグラフの精度よりも優れています。

要約(オリジナル)

Graph neural networks (GNNs) are vulnerable to adversarial perturbations, especially for topology attacks, and many methods that improve the robustness of GNNs have received considerable attention. Recently, we have witnessed the significant success of large language models (LLMs), leading many to explore the great potential of LLMs on GNNs. However, they mainly focus on improving the performance of GNNs by utilizing LLMs to enhance the node features. Therefore, we ask: Will the robustness of GNNs also be enhanced with the powerful understanding and inference capabilities of LLMs? By presenting the empirical results, we find that despite that LLMs can improve the robustness of GNNs, there is still an average decrease of 23.1% in accuracy, implying that the GNNs remain extremely vulnerable against topology attack. Therefore, another question is how to extend the capabilities of LLMs on graph adversarial robustness. In this paper, we propose an LLM-based robust graph structure inference framework, LLM4RGNN, which distills the inference capabilities of GPT-4 into a local LLM for identifying malicious edges and an LM-based edge predictor for finding missing important edges, so as to recover a robust graph structure. Extensive experiments demonstrate that LLM4RGNN consistently improves the robustness across various GNNs. Even in some cases where the perturbation ratio increases to 40%, the accuracy of GNNs is still better than that on the clean graph.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google