Towards Universal Certified Robustness with Multi-Norm Training

要約

既存の認定トレーニング方法は、特定の摂動タイプに対して堅牢になるようにモデルのみをトレーニングできます（例：$ l_ \ infty $または$ l_2 $）。
ただし、$ l_ \ infty $ certifiafly robustモデルは、$ l_2 $の摂動に対して証明に堅牢ではなく（およびその逆）、他の摂動に対する堅牢性が低い場合があります（幾何学的およびパッチ変換など）。
トレードオフを分析および軽減するための理論的枠組みを構築することにより、いくつかのマルチノーム認定トレーニング方法で構成される最初のマルチノーム認定トレーニングフレームワーク\ textBf {cure}を提案し、トレーニング時により良い\ emphing {組合の堅牢性}を達成します。
事前に訓練された認定モデルのスクラッチまたは微調整。
理論的な調査結果に触発されて、私たちは縛られたアラインメントを考案し、自然トレーニングを、より良い組合の堅牢性のために認定トレーニングと結び付けます。
SOTA認定トレーニングと比較して、\ TextBf {Cure}は、MNISTで32.0ドル、CIFAR-10で$ 25.8 \％$、TinyImagenetで$ 10.6 \％$に$ 32.0 \％$に堅牢性を向上させます。
これにより、CIFAR-10では、挑戦的な目に見えない幾何学的およびパッチ摂動が6.8 \％$と$ 16.0 \％$になります。
全体として、私たちの貢献は、\ textit {ユニバーサル認定の堅牢性}への道を開いています。

要約(オリジナル)

Existing certified training methods can only train models to be robust against a certain perturbation type (e.g. $l_\infty$ or $l_2$). However, an $l_\infty$ certifiably robust model may not be certifiably robust against $l_2$ perturbation (and vice versa) and also has low robustness against other perturbations (e.g. geometric and patch transformation). By constructing a theoretical framework to analyze and mitigate the tradeoff, we propose the first multi-norm certified training framework \textbf{CURE}, consisting of several multi-norm certified training methods, to attain better \emph{union robustness} when training from scratch or fine-tuning a pre-trained certified model. Inspired by our theoretical findings, we devise bound alignment and connect natural training with certified training for better union robustness. Compared with SOTA-certified training, \textbf{CURE} improves union robustness to $32.0\%$ on MNIST, $25.8\%$ on CIFAR-10, and $10.6\%$ on TinyImagenet across different epsilon values. It leads to better generalization on a diverse set of challenging unseen geometric and patch perturbations to $6.8\%$ and $16.0\%$ on CIFAR-10. Overall, our contributions pave a path towards \textit{universal certified robustness}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google