CLIPure: Purification in Latent Space via CLIP for Adversarially Robust Zero-Shot Classification

要約

この論文では、敵対的に堅牢なゼロショット画像分類子を構築することを目指しています。
私たちは、画像をテキストプロンプト「a 」と一致させることでゼロショット分類を実行できるビジョン言語の事前訓練を受けたエンコーダーモデルであるClipの作業を接地します。
浄化は、特定の攻撃タイプに関する敵対的なトレーニングを必要とせず、したがって、予見された攻撃に対処できるため、私たちが選択する道です。
次に、双方向の確率的微分方程式（SDE）を介して、逆境サンプルを除去する精製プロセスと摂動を良性サンプルに追加する攻撃プロセスの間のKLの発散として精製リスクを定式化します。
最終的な結果は、クリップのマルチモーダル潜在スペースの浄化を探求するように促します。
クリピアアプローチの2つのバリエーションを提案します。Imagesの潜在性モジュールを使用して画像の潜在性ベクトルの可能性をモデル化するClipure-diff（クリップの潜在ベクトルの生成プロセスのモデリング）と、尤度をモデル化するクリップアコス
画像の埋め込みと「Aの写真」の間のコサインの類似性。
私たちが知る限り、クリプレットはマルチモーダル潜在スペースの最初の精製方法であり、クリプレットCOSは生成モデルに基づいていない最初の精製方法であり、防御効率を大幅に改善します。
CIFAR-10、Imagenet、および13のデータセットで、ゼロショット分類の堅牢性の評価に使用された以前のクリップベースの防御方法について、広範な実験を実施しました。
結果は、クリピアがSOTAの堅牢性を大きなマージン、たとえばCIFAR10で71.7％から91.1％、ImagENETで59.6％から72.6％、前のSOTAにわたる13のデータセットで平均堅牢性の108％の相対的な改善を大きなマージンで高めることを示しています。
このコードは、https：//github.com/tmlresearchgroup-cas/clipureで入手できます。

要約(オリジナル)

In this paper, we aim to build an adversarially robust zero-shot image classifier. We ground our work on CLIP, a vision-language pre-trained encoder model that can perform zero-shot classification by matching an image with text prompts “a photo of a .”. Purification is the path we choose since it does not require adversarial training on specific attack types and thus can cope with any foreseen attacks. We then formulate purification risk as the KL divergence between the joint distributions of the purification process of denoising the adversarial samples and the attack process of adding perturbations to benign samples, through bidirectional Stochastic Differential Equations (SDEs). The final derived results inspire us to explore purification in the multi-modal latent space of CLIP. We propose two variants for our CLIPure approach: CLIPure-Diff which models the likelihood of images’ latent vectors with the DiffusionPrior module in DaLLE-2 (modeling the generation process of CLIP’s latent vectors), and CLIPure-Cos which models the likelihood with the cosine similarity between the embeddings of an image and “a photo of a.”. As far as we know, CLIPure is the first purification method in multi-modal latent space and CLIPure-Cos is the first purification method that is not based on generative models, which substantially improves defense efficiency. We conducted extensive experiments on CIFAR-10, ImageNet, and 13 datasets that previous CLIP-based defense methods used for evaluating zero-shot classification robustness. Results show that CLIPure boosts the SOTA robustness by a large margin, e.g., from 71.7% to 91.1% on CIFAR10, from 59.6% to 72.6% on ImageNet, and 108% relative improvements of average robustness on the 13 datasets over previous SOTA. The code is available at https://github.com/TMLResearchGroup-CAS/CLIPure.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google