Enhancing Adversarial Training via Reweighting Optimization Trajectory

要約

敵対的トレーニングがディープ ニューラル ネットワークの堅牢性を向上させるための事実上の方法になっているという事実にもかかわらず、バニラの敵対的トレーニングでは気が遠くなるような堅牢な過学習が発生し、不満足な堅牢な汎化が生じることはよく知られています。
これらの欠点に対処するために、ここ数年、追加の正則化、敵対的な重みの摂動、より多くのデータを使用したトレーニングなど、多くのアプローチが提案されてきました。
ただし、堅牢な一般化の改善はまだ満足のいくものではありません。
このペーパーでは、これまでの最適化の軌跡を洗練するというまったく新しい視点でこの課題に取り組みます。
私たちは、敵対的トレーニングの最適化軌道を時間内に活用する \textbf{加重最適化軌道 (WOT)} という名前の新しい手法を提案します。
私たちは、さまざまな最先端の敵対的攻撃の下で WOT の有効性を実証するために広範な実験を実施してきました。
私たちの結果は、WOT が既存の敵対的トレーニング方法とシームレスに統合し、堅牢な過剰適合の問題を一貫して克服し、その結果、敵対的堅牢性が向上することを示しています。
たとえば、WOT は、AA-$L_{\infty}$ 攻撃下での AT-PGD の堅牢な精度を 1.53\% $\sim$ 6.11\% 向上させ、一方でクリーンな精度を 0.55\%$\sim$5.47\% 向上させます。
SVHN、CIFAR-10、CIFAR-100、Tiny-ImageNet データセット全体に適用されます。

要約(オリジナル)

Despite the fact that adversarial training has become the de facto method for improving the robustness of deep neural networks, it is well-known that vanilla adversarial training suffers from daunting robust overfitting, resulting in unsatisfactory robust generalization. A number of approaches have been proposed to address these drawbacks such as extra regularization, adversarial weights perturbation, and training with more data over the last few years. However, the robust generalization improvement is yet far from satisfactory. In this paper, we approach this challenge with a brand new perspective — refining historical optimization trajectories. We propose a new method named \textbf{Weighted Optimization Trajectories (WOT)} that leverages the optimization trajectories of adversarial training in time. We have conducted extensive experiments to demonstrate the effectiveness of WOT under various state-of-the-art adversarial attacks. Our results show that WOT integrates seamlessly with the existing adversarial training methods and consistently overcomes the robust overfitting issue, resulting in better adversarial robustness. For example, WOT boosts the robust accuracy of AT-PGD under AA-$L_{\infty}$ attack by 1.53\% $\sim$ 6.11\% and meanwhile increases the clean accuracy by 0.55\%$\sim$5.47\% across SVHN, CIFAR-10, CIFAR-100, and Tiny-ImageNet datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google