Towards Optimal Branching of Linear and Semidefinite Relaxations for Neural Network Robustness Certification

要約

この論文では、敵対的な入力摂動に対する ReLU ニューラル ネットワークの堅牢性を証明することを研究します。
一般的な線形計画法 (LP) および半定値計画法 (SDP) の認証方法が被る緩和誤差を軽減するために、分岐限定アプローチを採用し、入力不確実性セットを分割し、各部分の緩和を個別に解くことを提案します。
このアプローチにより緩和エラーが減少し、ReLU アクティベーションの性質を利用するようにインテリジェントに設計されたパーティションで LP 緩和を実行するとエラーが完全に除去されることを示します。
このアプローチを大規模ネットワークに拡張するには、パーティション内のパーツの数を減らす、より粗いパーティションの使用を検討します。
LP 緩和誤差を直接最小化するような粗い分割を計算することは NP 困難であることを証明します。
代わりに、最悪の場合の LP 緩和誤差を最小限に抑えることで、単一隠れ層の場合の閉形式の分岐スキームを開発します。
解析を SDP に拡張し、実行可能なセットの幾何学形状を利用して、最悪の場合の SDP 緩和誤差を最小限に抑える分岐スキームを設計します。
MNIST、CIFAR-10、およびウィスコンシン乳がん診断分類器に関する実験では、認定された検査サンプルの割合が大幅に増加していることが実証されています。
入力サイズと層の数を個別に増やすことにより、分岐 LP と分岐 SDP がどのレジームに最適に適用されるかを経験的に示します。
最後に、LP 分岐手法を多層分岐ヒューリスティックに拡張します。これにより、大規模なディープ ニューラル ネットワーク認証ベンチマークにおける従来の最先端ヒューリスティックと同等のパフォーマンスが達成されます。

要約(オリジナル)

In this paper, we study certifying the robustness of ReLU neural networks against adversarial input perturbations. To diminish the relaxation error suffered by the popular linear programming (LP) and semidefinite programming (SDP) certification methods, we take a branch-and-bound approach to propose partitioning the input uncertainty set and solving the relaxations on each part separately. We show that this approach reduces relaxation error, and that the error is eliminated entirely upon performing an LP relaxation with a partition intelligently designed to exploit the nature of the ReLU activations. To scale this approach to large networks, we consider using a coarser partition whereby the number of parts in the partition is reduced. We prove that computing such a coarse partition that directly minimizes the LP relaxation error is NP-hard. By instead minimizing the worst-case LP relaxation error, we develop a closed-form branching scheme in the single-hidden layer case. We extend the analysis to the SDP, where the feasible set geometry is exploited to design a branching scheme that minimizes the worst-case SDP relaxation error. Experiments on MNIST, CIFAR-10, and Wisconsin breast cancer diagnosis classifiers demonstrate significant increases in the percentages of test samples certified. By independently increasing the input size and the number of layers, we empirically illustrate under which regimes the branched LP and branched SDP are best applied. Finally, we extend our LP branching method into a multi-layer branching heuristic, which attains comparable performance to prior state-of-the-art heuristics on large-scale, deep neural network certification benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google