Adversarial Training of Two-Layer Polynomial and ReLU Activation Networks via Convex Optimization

要約

特に安全性が重要な設定では過度にパラメータ化されたモデルが採用されているため、敵対的な攻撃に対して堅牢なニューラル ネットワークをトレーニングすることは、ディープ ラーニングにおいて依然として重要な問題です。
2 層 ReLU および多項式活性化ネットワークの訓練問題を凸プログラムとして再定式化した最近の研究に基づいて、我々は 2 層多項式活性化ネットワークの敵対的訓練のための凸半定値プログラム (SDP) を考案し、凸 SDP が同じことを達成することを証明します。
非凸の対応物としてのグローバル最適解。
凸型 SDP は、複数のデータセットに対する元の凸型トレーニング定式化と比較して、$\ell_\infty$ 攻撃に対する堅牢なテスト精度を向上させることが観察されています。
さらに、標準的な機械学習ライブラリおよび GPU アクセラレーションと互換性のある、2 層多項式および ReLU ネットワーク向けの敵対的トレーニングのスケーラブルな実装を紹介します。
これらの実装を活用して、多項式と ReLU の両方のアクティベーションを使用して、CIFAR-10 データセット上の Pre-Activation ResNet-18 モデルの最後の 2 つの完全に接続された層を再トレーニングします。
2 つの「堅牢化」モデルは、$\ell_\infty$ 攻撃に対して、シャープネスを意識した最小化でトレーニングされたアクティブ化前の ResNet-18 モデルよりも大幅に高い堅牢なテスト精度を達成し、大規模な問題に対する凸型敵対的トレーニングの実用性を示しています。

要約(オリジナル)

Training neural networks which are robust to adversarial attacks remains an important problem in deep learning, especially as heavily overparameterized models are adopted in safety-critical settings. Drawing from recent work which reformulates the training problems for two-layer ReLU and polynomial activation networks as convex programs, we devise a convex semidefinite program (SDP) for adversarial training of two-layer polynomial activation networks and prove that the convex SDP achieves the same globally optimal solution as its nonconvex counterpart. The convex SDP is observed to improve robust test accuracy against $\ell_\infty$ attacks relative to the original convex training formulation on multiple datasets. Additionally, we present scalable implementations of adversarial training for two-layer polynomial and ReLU networks which are compatible with standard machine learning libraries and GPU acceleration. Leveraging these implementations, we retrain the final two fully connected layers of a Pre-Activation ResNet-18 model on the CIFAR-10 dataset with both polynomial and ReLU activations. The two `robustified’ models achieve significantly higher robust test accuracies against $\ell_\infty$ attacks than a Pre-Activation ResNet-18 model trained with sharpness-aware minimization, demonstrating the practical utility of convex adversarial training on large-scale problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google