Learning Robust Kernel Ensembles with Kernel Average Pooling

要約

モデル アンサンブルは、個々のモデル予測の分散を削減し、入力摂動に対する堅牢性を高めるために、機械学習で長い間使用されてきました。
ドロップアウトのような疑似アンサンブル手法も、一般化を向上させるために深層学習モデルで一般的に使用されています。
ただし、これらの技術を適用して入力摂動に対するニューラル ネットワークの堅牢性を向上させることについては、まだ研究が進んでいません。
層活性化テンソルのカーネル次元に沿って平均フィルターを適用するニューラル ネットワーク構築ブロックであるカーネル平均プーリング (KAP) を導入します。
KAP を備え、バックプロパゲーションで訓練された畳み込みニューラル ネットワークでは、同様の機能を持つカーネルのアンサンブルが自然に出現することを示します。
さらに、加法的ガウス ノイズで摂動された入力でトレーニングされた場合、KAP モデルはさまざまな形の敵対的攻撃に対して著しく堅牢であることを示します。
CIFAR10、CIFAR100、TinyImagenet、および Imagenet データセットの経験的評価では、敵対的な例でトレーニングを行わなくても、Auto Attack などの強力な敵対的攻撃に対する堅牢性が大幅に向上していることが示されています。

要約(オリジナル)

Model ensembles have long been used in machine learning to reduce the variance in individual model predictions, making them more robust to input perturbations. Pseudo-ensemble methods like dropout have also been commonly used in deep learning models to improve generalization. However, the application of these techniques to improve neural networks’ robustness against input perturbations remains underexplored. We introduce Kernel Average Pooling (KAP), a neural network building block that applies the mean filter along the kernel dimension of the layer activation tensor. We show that ensembles of kernels with similar functionality naturally emerge in convolutional neural networks equipped with KAP and trained with backpropagation. Moreover, we show that when trained on inputs perturbed with additive Gaussian noise, KAP models are remarkably robust against various forms of adversarial attacks. Empirical evaluations on CIFAR10, CIFAR100, TinyImagenet, and Imagenet datasets show substantial improvements in robustness against strong adversarial attacks such as AutoAttack without training on any adversarial examples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google