要約
Perturbative Availability Poison (PAP) は、モデルのトレーニングでの使用を防ぐために画像に小さな変更を加えます。
現在の研究では、PAP に対抗するための実践的かつ効果的なアプローチは存在しないという考えが採用されています。
この論文では、この信念を放棄する時期が来たと主張します。
我々は、12 の最先端の PAP 手法が、単純な圧縮に基づくイメージ ショートカット スクイージング (ISS) に対して脆弱であることを示す広範な実験を紹介します。
たとえば、ISS は平均して CIFAR-10 モデルの精度を $81.73\%$ に回復し、これまでの最高の前処理ベースの対策を絶対額 $37.97\%$ 上回りました。
また、ISS は敵対的トレーニングよりも (わずかに) 優れており、目に見えない摂動規範に対する一般化可能性が高く、効率も高くなります。
私たちの調査により、PAP 摂動の特性は毒の生成に使用される代理モデルの種類に依存することが明らかになり、特定の ISS 圧縮が特定の種類の PAP 摂動に対して最高のパフォーマンスをもたらす理由が説明されます。
私たちはさらに、より強力で適応的な中毒をテストし、それが ISS に対する理想的な防御には及ばないことを示しました。
全体として、我々の結果は、PAP 手法の開発中に実行される分析の意味を確保するために、さまざまな (単純な) 対策を検討することの重要性を示しています。
要約(オリジナル)
Perturbative availability poisons (PAPs) add small changes to images to prevent their use for model training. Current research adopts the belief that practical and effective approaches to countering PAPs do not exist. In this paper, we argue that it is time to abandon this belief. We present extensive experiments showing that 12 state-of-the-art PAP methods are vulnerable to Image Shortcut Squeezing (ISS), which is based on simple compression. For example, on average, ISS restores the CIFAR-10 model accuracy to $81.73\%$, surpassing the previous best preprocessing-based countermeasures by $37.97\%$ absolute. ISS also (slightly) outperforms adversarial training and has higher generalizability to unseen perturbation norms and also higher efficiency. Our investigation reveals that the property of PAP perturbations depends on the type of surrogate model used for poison generation, and it explains why a specific ISS compression yields the best performance for a specific type of PAP perturbation. We further test stronger, adaptive poisoning, and show it falls short of being an ideal defense against ISS. Overall, our results demonstrate the importance of considering various (simple) countermeasures to ensure the meaningfulness of analysis carried out during the development of PAP methods.
arxiv情報
| 著者 | Zhuoran Liu,Zhengyu Zhao,Martha Larson |
| 発行日 | 2023-06-23 07:20:52+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google