Contrastive Self-Supervised Learning Leads to Higher Adversarial Susceptibility

要約

対照的な自己教師あり学習 (CSL) は、画像およびビデオの分類において、教師あり学習のパフォーマンスに匹敵するか、それを上回ることに成功しています。
ただし、2 つの学習パラダイムによって誘導される表現の性質が類似しているかどうかは、まだほとんどわかっていません。
これを、敵対的堅牢性のレンズの下で調査します。
問題の分析により、CSL は教師あり学習よりも摂動に対して本質的に高い感度を持っていることが明らかになりました。
この現象の主な原因として、CSL 表現空間の単位超球上でのデータ表現の均一な分布を特定します。
これは、トレーニング プロセスに偽陰性のペアが存在する結果であり、入力摂動に対するモデルの感度が向上することを立証します。
私たちの調査結果は、敵対的摂動やその他の入力破損を使用した画像とビデオの分類に関する広範な実験によってサポートされています。
シンプルでありながら、CSL トレーニングでモデルの堅牢性を向上させるのに効果的な、偽陰性のペアを検出して削除する戦略を考案します。
CSL とその監視対象との間のロバスト性のギャップを最大 68% まで縮めました。
最後に、私たちの方法を CSL に組み込むことにより、敵対的学習に貢献します。
この分野の 2 つの異なる最先端の方法で平均約 5% の向上を示しています。

要約(オリジナル)

Contrastive self-supervised learning (CSL) has managed to match or surpass the performance of supervised learning in image and video classification. However, it is still largely unknown if the nature of the representations induced by the two learning paradigms is similar. We investigate this under the lens of adversarial robustness. Our analysis of the problem reveals that CSL has intrinsically higher sensitivity to perturbations over supervised learning. We identify the uniform distribution of data representation over a unit hypersphere in the CSL representation space as the key contributor to this phenomenon. We establish that this is a result of the presence of false negative pairs in the training process, which increases model sensitivity to input perturbations. Our finding is supported by extensive experiments for image and video classification using adversarial perturbations and other input corruptions. We devise a strategy to detect and remove false negative pairs that is simple, yet effective in improving model robustness with CSL training. We close up to 68% of the robustness gap between CSL and its supervised counterpart. Finally, we contribute to adversarial learning by incorporating our method in CSL. We demonstrate an average gain of about 5% over two different state-of-the-art methods in this domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google