Beckman Defense

要約

最適輸送(OT)に基づく分布ロバスト最適化(DRO)は、最近、注目されている。しかし、これはまだ初期段階であるが、深層学習モデルのロバスト化において確かな可能性を持っている。興味深いことに、OTバリセンターは敵対的な攻撃に対して優れた頑健性を示す。OTバリセンターは計算量が多いため、これまでDROフレームワークで研究されてこなかった。本研究では、新しいバリセンター、すなわちBeckmanバリセンターを提案する。このバリセンターは効率的に計算することができ、敵対的な学習と合わせて敵対的な攻撃からネットワークを守るための学習に使用することができる。我々はBeckman barycenterの新しい定式化を提案し、入力画像のマージンを用いて解析的にbarycenterを求める。このBeckman barycenterを用いて、敵対的な学習を行ったネットワークを学習させることで、頑健性を向上させることができることを示す。我々の学習は1エポックしか必要としないため、非常に効率的である。CIFAR-10、CIFAR-100、Tiny ImageNetを用いた精巧な実験により、Beckman barycenterを用いて敵対的に頑健なネットワークを訓練することで、性能を大幅に向上させることができることを示す。自動攻撃では、CIFAR-10で10％、CIFAR-100で8.34％、Tiny ImageNetで11.51％の最大ブーストを得ることができた。我々のコードは http://bitly.ws/yvgh で公開されています。

要約(オリジナル)

Optimal transport (OT) based distributional robust optimisation (DRO) has received some traction in the recent past. However, it is at a nascent stage but has a sound potential in robustifying the deep learning models. Interestingly, OT barycenters demonstrate a good robustness against adversarial attacks. Owing to the computationally expensive nature of OT barycenters, they have not been investigated under DRO framework. In this work, we propose a new barycenter, namely Beckman barycenter, which can be computed efficiently and used for training the network to defend against adversarial attacks in conjunction with adversarial training. We propose a novel formulation of Beckman barycenter and analytically obtain the barycenter using the marginals of the input image. We show that the Beckman barycenter can be used to train adversarially trained networks to improve the robustness. Our training is extremely efficient as it requires only a single epoch of training. Elaborate experiments on CIFAR-10, CIFAR-100 and Tiny ImageNet demonstrate that training an adversarially robust network with Beckman barycenter can significantly increase the performance. Under auto attack, we get a a maximum boost of 10\% in CIFAR-10, 8.34\% in CIFAR-100 and 11.51\% in Tiny ImageNet. Our code is available at http://bitly.ws/yvgh.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL