Exploring Adversarial Attacks and Defenses in Vision Transformers trained with DINO

要約

本研究では、DINOを用いて学習した自己教師ありVision Transformerの敵対的攻撃に対する頑健性について、初めて分析を行った。まず、自己教師あり学習で得られた特徴が、教師あり学習で得られた特徴よりも敵対的攻撃に対して頑健であるかどうかを評価する。次に、潜在的な空間に対する攻撃について、その特性を明らかにする。最後に、よく知られた3つの防御戦略により、限られた計算資源でも頑健性を発揮できるように分類ヘッドを微調整するだけで、下流タスクの敵対的頑健性を高められるかどうかを評価する。これらの防御戦略は以下の通りである。敵対的学習、敵対的アンサンブル学習、特殊ネットワークアンサンブルである。

要約(オリジナル)

This work conducts the first analysis on the robustness against adversarial attacks on self-supervised Vision Transformers trained using DINO. First, we evaluate whether features learned through self-supervision are more robust to adversarial attacks than those emerging from supervised learning. Then, we present properties arising for attacks in the latent space. Finally, we evaluate whether three well-known defense strategies can increase adversarial robustness in downstream tasks by only fine-tuning the classification head to provide robustness even in view of limited compute resources. These defense strategies are: Adversarial Training, Ensemble Adversarial Training and Ensemble of Specialized Networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL