CAPM: Fast and Robust Verification on Maxpool-based CNN via Dual Network

要約

この研究では、CAPM（MaxpoolベースのCNNの凸異種ポリトープ）を使用して、境界のある規範敵対的摂動の下で、マックスプールベースの畳み込みニューラルネットワーク（CNN）のための検証された境界を改善します。
Maxpool関数は、一連のRelu関数として分解され、凸緩和技術をMaxpool関数に拡張し、検証境界をデュアルネットワークを介して効率的に計算できます。
実験結果は、この手法により、MaxpoolベースのCNNの最先端の検証精度が可能になり、Deepz、Deeppoly、Primaなどの現在の検証方法よりもはるかに低い計算コストが含まれることを示しています。
この方法は、大規模なCNNにも適用できます。これは、以前の研究では、しばしば計算的に法外に高価であることが示されています。
特定の状況では、CAPMは40倍、20倍、または2倍の速さであり、Prima/Deeppoly/Deepzと比較して、有意に高い検証境界（CAPM 98％対プリマ76％/Deeppoly 73％/DEEPZ 8％）を与えます。
さらに、アルゴリズムの時間の複雑さを$ o（w^2nk）$として追加します。ここで、$ w $はニューラルネットワークの最大幅、$ n $はニューロンの数、$ k $はマックスプール層のカーネルのサイズです。

要約(オリジナル)

This study uses CAPM (Convex Adversarial Polytope for Maxpool-based CNN) to improve the verified bound for general purpose maxpool-based convolutional neural networks (CNNs) under bounded norm adversarial perturbations. The maxpool function is decomposed as a series of ReLU functions to extend the convex relaxation technique to maxpool functions, by which the verified bound can be efficiently computed through a dual network. The experimental results demonstrate that this technique allows the state-of-the-art verification precision for maxpool-based CNNs and involves a much lower computational cost than current verification methods, such as DeepZ, DeepPoly and PRIMA. This method is also applicable to large-scale CNNs, which previous studies show to be often computationally prohibitively expensive. Under certain circumstances, CAPM is 40-times, 20-times or twice as fast and give a significantly higher verification bound (CAPM 98% vs. PRIMA 76%/DeepPoly 73%/DeepZ 8%) as compared to PRIMA/DeepPoly/DeepZ. Furthermore, we additionally present the time complexity of our algorithm as $O(W^2NK)$, where $W$ is the maximum width of the neural network, $N$ is the number of neurons, and $K$ is the size of the maxpool layer’s kernel.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google