Provable Robustness of (Graph) Neural Networks Against Data Poisoning and Backdoor Attacks

要約

機械学習モデルの一般化は、敵対的な変更がトレーニング データに適用されるデータ ポイズニングや、テスト データをさらに操作するバックドア攻撃によって大きく損なわれる可能性があります。
これらの脆弱性により、そのような変更が一定の大きさまではテストの予測に影響を与えないことを証明する (つまり、証明する) ことに関心が集まっています。
私たちは初めて、特定のグラフのノード機能をターゲットとしたポイズニングおよびバックドア攻撃に対してグラフ ニューラル ネットワーク (GNN) を認定しました。
私たちの証明書はホワイトボックスであり、十分に広いネットワークのトレーニング ダイナミクスを特徴付けるニューラル タンジェント カーネル $(i)$ に基づいています。
$(ii)$ は、ポイズニングを混合整数線形計画として記述する二値最適化問題の新しい再定式化です。
その結果、私たちはフレームワークを活用して、畳み込みベースおよびページランクベースの GNN の最悪の場合の堅牢性動作におけるグラフ構造とその接続性の役割についての基本的な洞察を提供します。
私たちのフレームワークはより一般的であり、NN のホワイトボックス ポイズニング証明書を導出する最初のアプローチを構成しており、これはグラフ関連のタスクを超えて独立して興味深い可能性があることに注意してください。

要約(オリジナル)

Generalization of machine learning models can be severely compromised by data poisoning, where adversarial changes are applied to the training data, as well as backdoor attacks that additionally manipulate the test data. These vulnerabilities have led to interest in certifying (i.e., proving) that such changes up to a certain magnitude do not affect test predictions. We, for the first time, certify Graph Neural Networks (GNNs) against poisoning and backdoor attacks targeting the node features of a given graph. Our certificates are white-box and based upon $(i)$ the neural tangent kernel, which characterizes the training dynamics of sufficiently wide networks; and $(ii)$ a novel reformulation of the bilevel optimization problem describing poisoning as a mixed-integer linear program. Consequently, we leverage our framework to provide fundamental insights into the role of graph structure and its connectivity on the worst-case robustness behavior of convolution-based and PageRank-based GNNs. We note that our framework is more general and constitutes the first approach to derive white-box poisoning certificates for NNs, which can be of independent interest beyond graph-related tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google