Revisiting Robustness in Graph Machine Learning

要約

【タイトル】グラフ機械学習における頑健性の再考

【要約】
– グラフニューラルネットワーク(GNN)によるノードレベルの予測は、グラフ構造に小さな変化がある場合、頑健性を欠くことが示されている。
– しかし、グラフの手動検査は困難であるため、研究対象となる摂動が常に不変の意味内容を保持しているかは不明である。
– この問題に対処するため、意味内容の変化に気づいたより原理的な対抗策を導入する。
– この新しい方法により、我々の実験において、多数のノードに対して、既存の多数の摂動モデルは、不変の意味内容の仮定を満たさない摂動グラフが大部分を占める事が発覚した。
– また、全てのGNNで意味内容の変化を超える頑健性があることがわかり、それが対抗例という現象に補完的なものであることが示された。
– 学習グラフのラベル構造を推論プロセスに組み込むと、テスト精度や対抗的な頑健性にプラスの影響を与え、過剰な頑健性を大幅に減らすことができる。
– 理論的には、新しい意味に基づく頑健性の考え方を活用すると、新しいノードの帰納的な分類に対して頑健性-精度のトレードオフがないことが証明される。

要約(オリジナル)

Many works show that node-level predictions of Graph Neural Networks (GNNs) are unrobust to small, often termed adversarial, changes to the graph structure. However, because manual inspection of a graph is difficult, it is unclear if the studied perturbations always preserve a core assumption of adversarial examples: that of unchanged semantic content. To address this problem, we introduce a more principled notion of an adversarial graph, which is aware of semantic content change. Using Contextual Stochastic Block Models (CSBMs) and real-world graphs, our results uncover: $i)$ for a majority of nodes the prevalent perturbation models include a large fraction of perturbed graphs violating the unchanged semantics assumption; $ii)$ surprisingly, all assessed GNNs show over-robustness – that is robustness beyond the point of semantic change. We find this to be a complementary phenomenon to adversarial examples and show that including the label-structure of the training graph into the inference process of GNNs significantly reduces over-robustness, while having a positive effect on test accuracy and adversarial robustness. Theoretically, leveraging our new semantics-aware notion of robustness, we prove that there is no robustness-accuracy tradeoff for inductively classifying a newly added node.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI