TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization

要約

近年、深層学習の研究とアプリケーションにおける事前トレーニング済みモデルとそのダウンストリーム トレーニングの重要性がますます高まっています。
同時に、敵対的な例の防御は、主に、単純な分類タスクでのランダムな初期化からのトレーニングのコンテキストで調査されてきました。
敵対的ロバスト性における事前トレーニング済みモデルの可能性をより適切に活用するために、このペーパーでは、さまざまな分類タスクにおける事前トレーニング済みモデルの微調整に焦点を当てています。
既存の研究では、ロバストな事前トレーニング済みモデルがロバストな特徴抽出器を既に学習しているため、重要な問題は、ダウンストリーム タスクを学習するときに事前トレーニング済みモデルのロバスト性を維持する方法であることが示されています。
この目標のためにモデルベースとデータベースのアプローチを研究し、2 つの一般的なアプローチでは、一般化と敵対的ロバスト性の両方を改善するという目的を達成できないことがわかりました。
したがって、新しい統計ベースのアプローチであるTwo-Wing NormliSation（TWINS）微調整フレームワークを提案します。これは、2つのニューラルネットワークで構成され、そのうちの1つがバッチ正規化レイヤーの事前トレーニングデータの母集団平均と分散を保持します。
堅牢な情報転送に加えて、TWINS はトレーニングの安定性を損なうことなく有効な学習率を向上させます。これは、標準のバッチ正規化レイヤーの重みノルムとその勾配ノルムとの関係が壊れているためです。
ロバストなオーバーフィッティング。
最後に、TWINS は、一般化とロバスト性の両方の観点から、幅広い画像分類データセットで効果的であることが示されています。
コードは https://github.com/ziquanliu/CVPR2023-TWINS で入手できます。

要約(オリジナル)

Recent years have seen the ever-increasing importance of pre-trained models and their downstream training in deep learning research and applications. At the same time, the defense for adversarial examples has been mainly investigated in the context of training from random initialization on simple classification tasks. To better exploit the potential of pre-trained models in adversarial robustness, this paper focuses on the fine-tuning of an adversarially pre-trained model in various classification tasks. Existing research has shown that since the robust pre-trained model has already learned a robust feature extractor, the crucial question is how to maintain the robustness in the pre-trained model when learning the downstream task. We study the model-based and data-based approaches for this goal and find that the two common approaches cannot achieve the objective of improving both generalization and adversarial robustness. Thus, we propose a novel statistics-based approach, Two-WIng NormliSation (TWINS) fine-tuning framework, which consists of two neural networks where one of them keeps the population means and variances of pre-training data in the batch normalization layers. Besides the robust information transfer, TWINS increases the effective learning rate without hurting the training stability since the relationship between a weight norm and its gradient norm in standard batch normalization layer is broken, resulting in a faster escape from the sub-optimal initialization and alleviating the robust overfitting. Finally, TWINS is shown to be effective on a wide range of image classification datasets in terms of both generalization and robustness. Our code is available at https://github.com/ziquanliu/CVPR2023-TWINS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google