Efficient Adversarial Contrastive Learning via Robustness-Aware Coreset Selection

要約

タイトル：頑健性に配慮したコアセット選択による効率的な敵対的相補学習

要約：

– 敵対的相補学習（ACL）は、高価なデータ注釈を必要とせず、敵対的攻撃に耐える堅牢な表現を出力し、広範なダウンストリームタスクにも適用できる。
– しかし、ACLはすべてのトレーニングデータの敵対的変形を生成するために膨大な時間が必要であり、大規模データセットにおいてスケーラビリティに制限がある。
– この論文では、頑健性に配慮したコアセット選択（RCS）メソッドを提案し、ACLを高速化する。
– RCSは、ラベル情報を必要とせず、表現の分散を最小化する有益なサブセットを検索する。分散とは、自然なデータとその仮想敵対的変形間の表現の距離である。
– RCSのバニラソリューション（可能なすべてのサブセットをトラバースする）は計算上の制約がある。したがって、RCSをサブモジュラ最大化の代替問題に理論的に変換し、グリーディ検索が元の問題の効率的なソリューションであり、最適性保証があることを理論的に示す。
– 実験的に、RCSは、頑健な転移をあまり害することなく、ACLを大幅に高速化できることが広範な実験結果によって確認されている。
– 特に、規模の大きいImageNet-1Kデータセットで実行されたACLを、RCSを利用して効果的な堅牢表現を得るために効率的に実行したのは、私たちが知る限り初めてである。

要約(オリジナル)

Adversarial contrastive learning (ACL) does not require expensive data annotations but outputs a robust representation that withstands adversarial attacks and also generalizes to a wide range of downstream tasks. However, ACL needs tremendous running time to generate the adversarial variants of all training data, which limits its scalability to large datasets. To speed up ACL, this paper proposes a robustness-aware coreset selection (RCS) method. RCS does not require label information and searches for an informative subset that minimizes a representational divergence, which is the distance of the representation between natural data and their virtual adversarial variants. The vanilla solution of RCS via traversing all possible subsets is computationally prohibitive. Therefore, we theoretically transform RCS into a surrogate problem of submodular maximization, of which the greedy search is an efficient solution with an optimality guarantee for the original problem. Empirically, our comprehensive results corroborate that RCS can speed up ACL by a large margin without significantly hurting the robustness transferability. Notably, to the best of our knowledge, we are the first to conduct ACL efficiently on the large-scale ImageNet-1K dataset to obtain an effective robust representation via RCS.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI