Low-Rank Adversarial PGD Attack

要約

ディープ ニューラル ネットワーク モデルに対する敵対的攻撃は急速に発展しており、これらのネットワークの安定性を研究するために広く使用されています。
さまざまな敵対的戦略の中でも、投影勾配降下法 (PGD) は、その有効性と迅速な実装により、コンピューター ビジョンで広く採用されており、敵対的トレーニングに適しています。
この研究では、多くの場合、PGD を使用して計算された摂動が主に元の画像の特異値スペクトルの一部にのみ影響を与えることが観察され、これらの摂動がほぼ低ランクであることが示唆されます。
この観察に基づいて、低ランクの攻撃を効率的に計算する PGD のバリエーションを提案します。
私たちは、さまざまな標準モデルだけでなく、敵対的トレーニングを受けた堅牢なモデルでもメソッドを広範囲に検証しています。
私たちの分析は、提案された低ランク PGD が、競争力のあるパフォーマンスと結びついた単純かつ迅速な実装により、敵対的トレーニングに効果的に使用できることを示しています。
特に、低ランクの PGD は、メモリ使用量が大幅に少なくなりながら、従来のフルランクの PGD 攻撃と同等のパフォーマンスを発揮することが多く、場合によってはそれを上回るパフォーマンスを発揮することがわかりました。

要約(オリジナル)

Adversarial attacks on deep neural network models have seen rapid development and are extensively used to study the stability of these networks. Among various adversarial strategies, Projected Gradient Descent (PGD) is a widely adopted method in computer vision due to its effectiveness and quick implementation, making it suitable for adversarial training. In this work, we observe that in many cases, the perturbations computed using PGD predominantly affect only a portion of the singular value spectrum of the original image, suggesting that these perturbations are approximately low-rank. Motivated by this observation, we propose a variation of PGD that efficiently computes a low-rank attack. We extensively validate our method on a range of standard models as well as robust models that have undergone adversarial training. Our analysis indicates that the proposed low-rank PGD can be effectively used in adversarial training due to its straightforward and fast implementation coupled with competitive performance. Notably, we find that low-rank PGD often performs comparably to, and sometimes even outperforms, the traditional full-rank PGD attack, while using significantly less memory.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google