TrustGLM: Evaluating the Robustness of GraphLLMs Against Prompt, Text, and Structure Attacks

要約

大規模な言語モデル（LLMS）の成功に触発されて、従来のグラフ学習方法からLLMベースのグラフフレームワーク（正式にはgraphllmsとして知られている）が重要な研究シフトがあります。
GraphLLMSは、3つの主要なコンポーネントを統合することにより、LLMSの推論力を活用します。入力ノードのテキスト属性、ノード近傍の構造情報、および意思決定をガイドするタスク固有のプロンプト。
彼らの約束にもかかわらず、敵対的な摂動に対するgraphllmsの堅牢性は、ほとんど未開拓のままです – これらのモデルをハイステークスシナリオに展開するための重要な懸念。
ギャップを埋めるために、TrustGlmを紹介します。これは、テキスト、グラフ構造、迅速な操作という3つの次元にわたる敵対的な攻撃に対するgraphllmsの脆弱性を評価する包括的な研究です。
モデルの回復力を厳密に評価するために、各観点から最先端の攻撃アルゴリズムを実装します。
多様なドメインからの6つのベンチマークデータセットでの広範な実験を通じて、我々の調査結果は、graphllmsがノードのテキスト属性に数本の意味的に類似した単語を置き換えるだけで、テキスト攻撃を非常に受けやすいことを明らかにしています。
また、標準のグラフ構造攻撃方法はモデルのパフォーマンスを大幅に低下させる可能性があることがわかりますが、プロンプトテンプレートに設定された候補ラベルのランダムシャッフルは、大幅なパフォーマンスドロップにつながります。
これらの脆弱性を特徴付けるだけでなく、データを介したトレーニングと敵対的なトレーニングを通じて、各攻撃ベクトルに合わせて調整された防御技術を調査します。
当社のオープンソースのライブラリが、迅速で公平な評価を促進し、この分野でのさらなる革新的な研究を刺激することを願っています。

要約(オリジナル)

Inspired by the success of large language models (LLMs), there is a significant research shift from traditional graph learning methods to LLM-based graph frameworks, formally known as GraphLLMs. GraphLLMs leverage the reasoning power of LLMs by integrating three key components: the textual attributes of input nodes, the structural information of node neighborhoods, and task-specific prompts that guide decision-making. Despite their promise, the robustness of GraphLLMs against adversarial perturbations remains largely unexplored-a critical concern for deploying these models in high-stakes scenarios. To bridge the gap, we introduce TrustGLM, a comprehensive study evaluating the vulnerability of GraphLLMs to adversarial attacks across three dimensions: text, graph structure, and prompt manipulations. We implement state-of-the-art attack algorithms from each perspective to rigorously assess model resilience. Through extensive experiments on six benchmark datasets from diverse domains, our findings reveal that GraphLLMs are highly susceptible to text attacks that merely replace a few semantically similar words in a node’s textual attribute. We also find that standard graph structure attack methods can significantly degrade model performance, while random shuffling of the candidate label set in prompt templates leads to substantial performance drops. Beyond characterizing these vulnerabilities, we investigate defense techniques tailored to each attack vector through data-augmented training and adversarial training, which show promising potential to enhance the robustness of GraphLLMs. We hope that our open-sourced library will facilitate rapid, equitable evaluation and inspire further innovative research in this field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google