Revisiting Robustness in Graph Machine Learning

要約

【タイトル】グラフ機械学習における頑健性の再評価

【要約】
– GNN（グラフニューラルネットワーク）のノードレベル予測は、グラフ構造に微小な変更（敵対的な変更とも呼ばれる）があると、頑健性を持たないことが多い。
– しかし手動でグラフを調べることが難しいため、研究された摂動が常に不変の意味的コンテンツという敵対的な例の核心の仮定を保つかどうかは不明です。
– この問題に対処するために、意味の変化に気づいたより原理的な敵対的なグラフの概念を導入する。
– コンテキストステーキャスティックブロックモデル（CSBM）と実世界のグラフを使用して、次のことが明らかになった：
– 多数のノードについて、主要な摂動モデルには、不変の意味論的仮定に違反する摂動グラフの大部分が含まれる。
– 驚くべきことに、すべての評価されたGNNは、過剰な頑健性-すなわち、意味の変更を超えた頑健性を示す。
– 我々はこれが敵対的な例に補完的な現象であり、トレーニンググラフのラベル構造を推論プロセスに組み込むことで、GNNの過剰な頑健性を大幅に減らすことができることを示し、テスト精度と敵対的な頑健性に良い影響を与えることを発見した。
– 理論的には、新しく追加されたノードを帰納的に分類する場合には、頑健性と精度のトレードオフは存在しないと言える。

要約(オリジナル)

Many works show that node-level predictions of Graph Neural Networks (GNNs) are unrobust to small, often termed adversarial, changes to the graph structure. However, because manual inspection of a graph is difficult, it is unclear if the studied perturbations always preserve a core assumption of adversarial examples: that of unchanged semantic content. To address this problem, we introduce a more principled notion of an adversarial graph, which is aware of semantic content change. Using Contextual Stochastic Block Models (CSBMs) and real-world graphs, our results uncover: $i)$ for a majority of nodes the prevalent perturbation models include a large fraction of perturbed graphs violating the unchanged semantics assumption; $ii)$ surprisingly, all assessed GNNs show over-robustness – that is robustness beyond the point of semantic change. We find this to be a complementary phenomenon to adversarial examples and show that including the label-structure of the training graph into the inference process of GNNs significantly reduces over-robustness, while having a positive effect on test accuracy and adversarial robustness. Theoretically, leveraging our new semantics-aware notion of robustness, we prove that there is no robustness-accuracy tradeoff for inductively classifying a newly added node.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI