Distilling Cognitive Backdoor Patterns within an Image

要約

この論文では、画像内のバックドア パターンを抽出して検出する簡単な方法、\emph{Cognitive Distillation} (CD) を提案します。
アイデアは、モデルの予測に関与する入力画像から「最小限の本質」を抽出することです。
CD は入力マスクを最適化して、同じモデル出力 (つまり、ロジットまたは深い特徴) につながる可能性のある小さなパターンを入力画像から抽出します。
抽出されたパターンは、クリーンな画像とバックドアの画像のモデルの認知メカニズムを理解するのに役立ち、\emph{認知パターン} (CP) と呼ばれます。
CD と抽出された CP を使用して、バックドア攻撃の興味深い現象を明らかにしました。さまざまな攻撃で使用されるさまざまな形式とサイズのトリガー パターンにもかかわらず、バックドア サンプルの CP はすべて驚くほど、そして疑わしいほど小さいです。
したがって、学習したマスクを活用して、汚染されたトレーニング データセットからバックドアの例を検出して削除できます。
CD が広範囲の高度なバックドア攻撃を確実に検出できることを示すために、広範な実験を行っています。
また、顔データセットから潜在的なバイアスを検出するために、CD を適用できる可能性があることも示しています。
コードは \url{https://github.com/HanxunH/CognitiveDistillation} で入手できます。

要約(オリジナル)

This paper proposes a simple method to distill and detect backdoor patterns within an image: \emph{Cognitive Distillation} (CD). The idea is to extract the ‘minimal essence’ from an input image responsible for the model’s prediction. CD optimizes an input mask to extract a small pattern from the input image that can lead to the same model output (i.e., logits or deep features). The extracted pattern can help understand the cognitive mechanism of a model on clean vs. backdoor images and is thus called a \emph{Cognitive Pattern} (CP). Using CD and the distilled CPs, we uncover an interesting phenomenon of backdoor attacks: despite the various forms and sizes of trigger patterns used by different attacks, the CPs of backdoor samples are all surprisingly and suspiciously small. One thus can leverage the learned mask to detect and remove backdoor examples from poisoned training datasets. We conduct extensive experiments to show that CD can robustly detect a wide range of advanced backdoor attacks. We also show that CD can potentially be applied to help detect potential biases from face datasets. Code is available at \url{https://github.com/HanxunH/CognitiveDistillation}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google