Defending Against Repetitive Backdoor Attacks on Semi-supervised Learning through Lens of Rate-Distortion-Perception Trade-off

要約

半教師あり学習 (SSL) は、インターネットからの大量のラベルなしデータを活用することにより、ごく一部のラベル付きデータで顕著なパフォーマンスを達成しました。
ただし、この信頼できないデータの大規模なプールはデータ ポイズニングに対して非常に脆弱であり、バックドア攻撃の可能性があります。
現在のバックドア防御は、SSL のこのような脆弱性に対してまだ有効ではありません。
この研究では、周波数領域に摂動を導入することでトリガー パターンとターゲット クラス間の関連性を破壊する新しい方法である Unlabeled Data Purification (UPure) を提案します。
レート-歪み-知覚 (RDP) のトレードオフを活用することで、摂動が追加される周波数帯域をさらに特定し、この選択を正当化します。
特に、UPure は、余分なクリーンなラベル付きデータを必要とせずに、汚染されたラベルなしデータを浄化します。
4 つのベンチマーク データセットと 5 つの SSL アルゴリズムに関する広範な実験により、UPure がモデルの精度を維持しながら攻撃の成功率を 99.78% から 0% に効果的に低下させることが実証されました。
コードは \url{https://github.com/chengyi-chris/UPure} から入手できます。

要約(オリジナル)

Semi-supervised learning (SSL) has achieved remarkable performance with a small fraction of labeled data by leveraging vast amounts of unlabeled data from the Internet. However, this large pool of untrusted data is extremely vulnerable to data poisoning, leading to potential backdoor attacks. Current backdoor defenses are not yet effective against such a vulnerability in SSL. In this study, we propose a novel method, Unlabeled Data Purification (UPure), to disrupt the association between trigger patterns and target classes by introducing perturbations in the frequency domain. By leveraging the Rate-Distortion-Perception (RDP) trade-off, we further identify the frequency band, where the perturbations are added, and justify this selection. Notably, UPure purifies poisoned unlabeled data without the need of extra clean labeled data. Extensive experiments on four benchmark datasets and five SSL algorithms demonstrate that UPure effectively reduces the attack success rate from 99.78% to 0% while maintaining model accuracy. Code is available here: \url{https://github.com/chengyi-chris/UPure}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google