Multi-head Ensemble of Smoothed Classifiers for Certified Robustness

要約

ランダム化スムージング（RS）は、認定された堅牢性のための有望な手法であり、最近RSでは、複数の深い神経ネットワーク（DNNS）のアンサンブルがガウスノイズ上の分散縮小効果により最先端のパフォーマンスを示しています。
ただし、このようなアンサンブルは、トレーニングと認証の両方で重い計算負荷をもたらしますが、これらの分類器間の通信は最適化では一般的に無視されるため、個々のDNNとそれらの相互効果の低下をもたらします。
この作業では、複数の拡張ヘッドを備えた単一のDNNの新しいアンサンブルベースのトレーニング方法を検討します。
一部では、アンサンブルを介した分散削減の追求と同様に、単一のDNN内にコサイン制約を備えた複数のヘッドのアンサンブルが、Rsのより安価なトレーニングと認定計算の過負荷で採用されています。
このようなネットワーク構造では、関連するトレーニング戦略は、それらの増強ヘッド間に円形の通信フローを導入することにより設計されています。
つまり、各ヘッドは、認定された堅牢性に関連して特別に設計されたスムーズな損失を使用して、自己ペースの学習戦略を隣人に教えます。
いくつかの共同で展開されたマルチヘッド構造と循環教育スキームは、複数のヘッド間の多様性に貢献し、アンサンブルに利益をもたらし、積極的な実験と議論によって検証された、はるかに少ない計算費用（効率）のコストで複数のDNNS（有効性）を描くよりも、競争力のある認定強力なRSベースの防御をもたらします。

要約(オリジナル)

Randomized Smoothing (RS) is a promising technique for certified robustness, and recently in RS the ensemble of multiple Deep Neural Networks (DNNs) has shown state-of-the-art performances due to its variance reduction effect over Gaussian noises. However, such an ensemble brings heavy computation burdens in both training and certification, and yet under-exploits individual DNNs and their mutual effects, as the communication between these classifiers is commonly ignored in optimization. In this work, we consider a novel ensemble-based training way for a single DNN with multiple augmented heads, named as SmOothed Multi-head Ensemble (SOME). In SOME, similar to the pursuit of variance reduction via ensemble, an ensemble of multiple heads imposed with a cosine constraint inside a single DNN is employed with much cheaper training and certification computation overloads in RS. In such network structure, an associated training strategy is designed by introducing a circular communication flow among those augmented heads. That is, each head teaches its neighbor with the self-paced learning strategy using smoothed losses, which are specifically designed in relation to certified robustness. The deployed multi-head structure and the circular-teaching scheme in SOME jointly contribute to the diversities among multiple heads and benefit their ensemble, leading to a competitively stronger certifiably-robust RS-based defense than ensembling multiple DNNs (effectiveness) at the cost of much less computational expenses (efficiency), verified by extensive experiments and discussions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google