GAT: Guided Adversarial Training with Pareto-optimal Auxiliary Tasks

要約

敵対的ロバスト性を向上させるために、追加学習データを活用することはよく知られていますが、データ収集やモデル学習のための重い計算が避けられないコストとなっています。このようなコストを軽減するために、我々は、限られた学習データの下で補助タスクを利用する新しい敵対的学習手法である、⾰新的なGuided Adversarial Training } (GAT)を提案します。本手法は、敵対的学習の最小・最大最適化において、単一タスクモデルを複数タスクモデルに拡張し、複数タスクにまたがる勾配曲率の正則化を用いて損失最適化を駆動させる。GATは2種類の補助タスクを活用する：ラベルが自動的に生成される自己教師タスクと、人間の専門家が追加のラベルを提供する領域知識タスクである。実験では、限られたデータの中で、GATはCIFAR-10でのロバスト精度を最大4倍（11%から42%まで）、CheXpert medical imaging datasetのロバストAUCを50%から83%まで向上させた。CIFAR-10データセット全体において、GATは8つの最新の敵対的学習ストラテジーを凌駕しています。 5つのデータセットと6つのタスクにまたがる我々の大規模な研究は、タスク増強がデータ増強の効率的な代替手段であり、クリーンかつロバストな性能を達成する鍵となり得ることを実証している。

要約(オリジナル)

While leveraging additional training data is well established to improve adversarial robustness, it incurs the unavoidable cost of data collection and the heavy computation to train models. To mitigate the costs, we propose \textit{Guided Adversarial Training } (GAT), a novel adversarial training technique that exploits auxiliary tasks under a limited set of training data. Our approach extends single-task models into multi-task models during the min-max optimization of adversarial training, and drives the loss optimization with a regularization of the gradient curvature across multiple tasks. GAT leverages two types of auxiliary tasks: self-supervised tasks, where the labels are generated automatically, and domain-knowledge tasks, where human experts provide additional labels. Experimentally, under limited data, GAT increases the robust accuracy on CIFAR-10 up to four times (from 11% to 42% robust accuracy) and the robust AUC of CheXpert medical imaging dataset from 50\% to 83\%. On the full CIFAR-10 dataset, GAT outperforms eight state-of-the-art adversarial training strategies. Our large study across five datasets and six tasks demonstrates that task augmentation is an efficient alternative to data augmentation, and can be key to achieving both clean and robust performances.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL