Exact Certification of (Graph) Neural Networks Against Label Poisoning

要約

機械学習モデルは、ラベルの反転、すなわち、パフォーマンスを低下させるための敵対的な学習ラベルの変更（ポイズニング）に対して非常に脆弱である。従って、ロバスト性の証明書を導出することは、テスト予測が影響を受けないことを保証し、ワーストケースのロバスト性を理解するために重要である。しかし、グラフニューラルネットワーク（GNN）では、ラベルの反転を証明する問題はこれまで未解決であった。我々は、厳密な証明方法を導入し、サンプル単位の証明と集合的な証明の両方を導出することで、この状況を変える。本手法は、広いネットワークの学習ダイナミクスを捉えるためにニューラルタンジェントカーネル(NTK)を活用し、ラベルの反転を表す2値最適化問題を混合整数線形計画(MILP)に再定式化することを可能にする。我々は、ノード分類タスクにおいて、幅広いGNNアーキテクチャを認証するために我々の手法を適用する。これにより、ラベルフリッピングに対するワーストケースの頑健性に関して、$(i)$異なるベンチマークグラフ上でGNNの階層を確立し、$(ii)$活性度、深さ、スキップ結合などのアーキテクチャ選択の効果を定量化し、驚くべきことに、$(iii)$全ての調査データセットとアーキテクチャにおいて、中間の摂動バジェットで頑健性がプラトー化するという新しい現象を発見した。我々はGNNに焦点を当てたが、我々の証明はNTKを通して十分に広いNN全般に適用可能である。このように、我々の研究は、ニューラルネットワークに対してこれまでに導き出された初めてのポイズニング攻撃に対する厳密な証明書を提示しており、これは独立した関心事となりうる。コードはhttps://github.com/saper0/qpcert。

要約(オリジナル)

Machine learning models are highly vulnerable to label flipping, i.e., the adversarial modification (poisoning) of training labels to compromise performance. Thus, deriving robustness certificates is important to guarantee that test predictions remain unaffected and to understand worst-case robustness behavior. However, for Graph Neural Networks (GNNs), the problem of certifying label flipping has so far been unsolved. We change this by introducing an exact certification method, deriving both sample-wise and collective certificates. Our method leverages the Neural Tangent Kernel (NTK) to capture the training dynamics of wide networks enabling us to reformulate the bilevel optimization problem representing label flipping into a Mixed-Integer Linear Program (MILP). We apply our method to certify a broad range of GNN architectures in node classification tasks. Thereby, concerning the worst-case robustness to label flipping: $(i)$ we establish hierarchies of GNNs on different benchmark graphs; $(ii)$ quantify the effect of architectural choices such as activations, depth and skip-connections; and surprisingly, $(iii)$ uncover a novel phenomenon of the robustness plateauing for intermediate perturbation budgets across all investigated datasets and architectures. While we focus on GNNs, our certificates are applicable to sufficiently wide NNs in general through their NTK. Thus, our work presents the first exact certificate to a poisoning attack ever derived for neural networks, which could be of independent interest. The code is available at https://github.com/saper0/qpcert.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL