Edge Detectors Can Make Deep Convolutional Neural Networks More Robust

要約

ディープ畳み込みニューラル ネットワーク (略して DCNN) は、小さな摂動を伴う例に対して脆弱です。
DCNN の堅牢性の向上は、自動運転や産業オートメーションなどの安全性が重要なアプリケーションにとって非常に重要です。
人間の目が物体を認識する主な方法、つまり主に形状特徴に依存する方法に触発されたこの論文では、まずエッジ検出器をレイヤー カーネルとして採用し、バイナリ エッジ特徴を学習するためのバイナリ エッジ特徴ブランチ (略して BEFB) を設計します。
一般的なバックボーンに簡単に統合できます。
4 つのエッジ検出器はそれぞれ水平、垂直、正の対角線、負の対角線のエッジ特徴を学習でき、ブランチは複数のソーベル層 (エッジ検出器をカーネルとして使用) と 1 つのしきい値層によってスタックされます。
ブランチによって学習されたバイナリ エッジ特徴は、バックボーンによって学習されたテクスチャ特徴と連結され、分類のために完全に接続されたレイヤーに供給されます。
提案されたブランチをそれぞれ VGG16 と ResNet34 に統合し、複数のデータセットで実験を実行します。
実験結果は、BEFB が軽量であり、トレーニングに副作用がないことを示しています。
また、BEFB 統合モデルの精度は、FGSM、PGD、および C\&W 攻撃に直面した場合、すべてのデータセットで元のモデルよりも優れています。
さらに、ロバスト性強化技術を備えた BEFB 統合モデルは、元のモデルと比較して優れた分類精度を達成できます。
この論文の研究は、形状のような特徴とテクスチャの特徴の両方を組み合わせることで DCNN の堅牢性を強化できることを初めて示しました。

要約(オリジナル)

Deep convolutional neural networks (DCNN for short) are vulnerable to examples with small perturbations. Improving DCNN’s robustness is of great significance to the safety-critical applications, such as autonomous driving and industry automation. Inspired by the principal way that human eyes recognize objects, i.e., largely relying on the shape features, this paper first employs the edge detectors as layer kernels and designs a binary edge feature branch (BEFB for short) to learn the binary edge features, which can be easily integrated into any popular backbone. The four edge detectors can learn the horizontal, vertical, positive diagonal, and negative diagonal edge features, respectively, and the branch is stacked by multiple Sobel layers (using edge detectors as kernels) and one threshold layer. The binary edge features learned by the branch, concatenated with the texture features learned by the backbone, are fed into the fully connected layers for classification. We integrate the proposed branch into VGG16 and ResNet34, respectively, and conduct experiments on multiple datasets. Experimental results demonstrate the BEFB is lightweight and has no side effects on training. And the accuracy of the BEFB integrated models is better than the original ones on all datasets when facing FGSM, PGD, and C\&W attacks. Besides, BEFB integrated models equipped with the robustness enhancing techniques can achieve better classification accuracy compared to the original models. The work in this paper for the first time shows it is feasible to enhance the robustness of DCNNs through combining both shape-like features and texture features.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google