Efficient Adversarial Contrastive Learning via Robustness-Aware Coreset Selection

要約

タイトル：ロバストネスに注意したコアセット選択による効率的な対抗的対照学習

要約：
– 対抗的対照学習（ACL）は高価なデータ注釈を必要としないが、敵対的攻撃に耐える堅牢な表現を出力し、幅広い下流タスクにも汎化する。
– しかし、ACLはすべてのトレーニングデータの対抗型バリアントを生成するために膨大な実行時間が必要であり、大きなデータセットに対してはスケーラビリティが制限されている。
– ACLを高速化するために、この論文では、ロバスト性に注意したコアセット選択（RCS）手法を提案する。
– RCSは、ラベル情報を必要とせず、自然なデータとその仮想的な対抗バリアントの表現間の距離（表現の分散）を最小化する情報豊富なサブセットを探します。
– RCSのバニラソリューションは、すべての可能なサブセットを探索することが計算的に禁止されています。
– したがって、我々はRCSをサブモジュラ最大化のサロゲート問題に理論的に変換し、貪欲な探索が元の問題に対して最適性保証を備えた効率的なソリューションであることを示します。
– 実証的に、我々の包括的な結果は、RCSが堅牢性の転移を顕著に損なうことなく、ACLの処理速度を大幅に高速化できることを裏付けています。
– 注目すべきことに、私たちは、ImageNet-1KデータセットでRCSを介してACLを効率的に実行し、効果的な堅牢な表現を得るために、知る限りでは最初の人々である。

要約(オリジナル)

Adversarial contrastive learning (ACL) does not require expensive data annotations but outputs a robust representation that withstands adversarial attacks and also generalizes to a wide range of downstream tasks. However, ACL needs tremendous running time to generate the adversarial variants of all training data, which limits its scalability to large datasets. To speed up ACL, this paper proposes a robustness-aware coreset selection (RCS) method. RCS does not require label information and searches for an informative subset that minimizes a representational divergence, which is the distance of the representation between natural data and their virtual adversarial variants. The vanilla solution of RCS via traversing all possible subsets is computationally prohibitive. Therefore, we theoretically transform RCS into a surrogate problem of submodular maximization, of which the greedy search is an efficient solution with an optimality guarantee for the original problem. Empirically, our comprehensive results corroborate that RCS can speed up ACL by a large margin without significantly hurting the robustness transferability. Notably, to the best of our knowledge, we are the first to conduct ACL efficiently on the large-scale ImageNet-1K dataset to obtain an effective robust representation via RCS.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI