CleanCLIP: Mitigating Data Poisoning Attacks in Multimodal Contrastive Learning

要約

マルチモーダル コントラスト プレトレーニングは、CLIP などのマルチモーダル表現モデルを大量の画像とテキストのペア データでトレーニングするために使用されてきました。
ただし、以前の研究では、そのようなモデルはバックドア攻撃に対して脆弱であることが明らかになりました。
具体的には、バックドアの例でトレーニングすると、CLIP は、埋め込まれたバックドア トリガーとターゲット ラベルの間の誤った相関関係を学習し、それらの表現を共同埋め込み空間で整列させます。
300 万の事前トレーニング データに含まれる 75 のサンプルなど、少数の汚染されたサンプルを注入するだけでも、モデルの動作を大幅に操作できるため、そのような相関関係を検出したり、学習を取り消したりすることが難しくなります。
この問題に対処するために、個々のモダリティの表現を個別に再調整することにより、バックドア攻撃によって導入された学習された偽の関連付けを弱める微調整フレームワークである CleanCLIP を提案します。
個々のモダリティに対してマルチモーダル対比目標とユニモーダル自己教師あり目標の組み合わせを使用した教師なし微調整により、バックドア攻撃の影響を大幅に軽減できることを示します。
さらに、タスク固有のラベル付き画像データに対する監視付きの微調整により、CLIP ビジョン エンコーダーからバックドア トリガーが除去されることを示します。
マルチモーダル対比学習に対する一連のバックドア攻撃を消去しながら、CleanCLIP が無害な例でモデルのパフォーマンスを維持することを経験的に示します。

要約(オリジナル)

Multimodal contrastive pretraining has been used to train multimodal representation models, such as CLIP, on large amounts of paired image-text data. However, previous studies have revealed that such models are vulnerable to backdoor attacks. Specifically, when trained on backdoored examples, CLIP learns spurious correlations between the embedded backdoor trigger and the target label, aligning their representations in the joint embedding space. Injecting even a small number of poisoned examples, such as 75 examples in 3 million pretraining data, can significantly manipulate the model’s behavior, making it difficult to detect or unlearn such correlations. To address this issue, we propose CleanCLIP, a finetuning framework that weakens the learned spurious associations introduced by backdoor attacks by independently re-aligning the representations for individual modalities. We demonstrate that unsupervised finetuning using a combination of multimodal contrastive and unimodal self-supervised objectives for individual modalities can significantly reduce the impact of the backdoor attack. Additionally, we show that supervised finetuning on task-specific labeled image data removes the backdoor trigger from the CLIP vision encoder. We show empirically that CleanCLIP maintains model performance on benign examples while erasing a range of backdoor attacks on multimodal contrastive learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google