Exploring Adversarial Attacks and Defenses in Vision Transformers trained with DINO

要約

この作業は、DINOを使用してトレーニングされた自己監視型ビジョントランスフォーマーに対する敵対的攻撃に対する堅牢性に関する最初の分析を行います。
まず、自己監視によって学習された機能が、教師あり学習から出現した機能よりも敵対的な攻撃に対して堅牢であるかどうかを評価します。
次に、潜在空間での攻撃で発生する特性を示します。
最後に、3つのよく知られた防御戦略が、限られたコンピューティングリソースを考慮しても堅牢性を提供するように分類ヘッドを微調整するだけで、ダウンストリームタスクの敵対的な堅牢性を高めることができるかどうかを評価します。
これらの防御戦略は、敵対的トレーニング、アンサンブル敵対的トレーニング、および特殊ネットワークのアンサンブルです。

要約(オリジナル)

This work conducts the first analysis on the robustness against adversarial attacks on self-supervised Vision Transformers trained using DINO. First, we evaluate whether features learned through self-supervision are more robust to adversarial attacks than those emerging from supervised learning. Then, we present properties arising for attacks in the latent space. Finally, we evaluate whether three well-known defense strategies can increase adversarial robustness in downstream tasks by only fine-tuning the classification head to provide robustness even in view of limited compute resources. These defense strategies are: Adversarial Training, Ensemble Adversarial Training and Ensemble of Specialized Networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google