Attacking Perceptual Similarity Metrics

要約

知覚的類似性メトリクスは、知覚的類似性に関する人間の判断との相関が徐々に高まってきている。しかし、最近の進歩にもかかわらず、知覚できない歪みが加わると、これらのメトリクスを損なう可能性がある。本研究では、知覚できない敵対的な摂動に対するこれらのメトリクスの頑健性を系統的に検証する。2つの歪んだ画像と1つの参照画像からなる二者択一の強制選択実験デザインに従い、メトリクスが判定を反転させるまで、敵対的攻撃によって歪んだ画像を参照画像に近づけるように摂動させる。まず、本研究のすべてのメトリクスが、FGSM、PGD、One-pixel攻撃などの一般的な敵対的攻撃によって生成された摂動に影響を受けやすいことが示される。次に、広く採用されているLPIPSメトリクスをホワイトボックスで空間変換ベースの敵対的摂動（stAdv）を用いて攻撃し、ブラックボックスで他の類似性メトリクスに効果的に移行できる敵対的事例を作成する。また、空間攻撃stAdvをPGD($ell_infty$-bounded)攻撃と組み合わせることで移植性を高め、これらの敵対的な例を用いて、従来の指標と最近開発した指標の両方の堅牢性をベンチマークする。このベンチマークは、知覚できない敵対的な摂動に対するメトリクスの頑健性に関する議論とさらなる研究のための良い出発点を提供するものである。

要約(オリジナル)

Perceptual similarity metrics have progressively become more correlated with human judgments on perceptual similarity; however, despite recent advances, the addition of an imperceptible distortion can still compromise these metrics. In our study, we systematically examine the robustness of these metrics to imperceptible adversarial perturbations. Following the two-alternative forced-choice experimental design with two distorted images and one reference image, we perturb the distorted image closer to the reference via an adversarial attack until the metric flips its judgment. We first show that all metrics in our study are susceptible to perturbations generated via common adversarial attacks such as FGSM, PGD, and the One-pixel attack. Next, we attack the widely adopted LPIPS metric using spatial-transformation-based adversarial perturbations (stAdv) in a white-box setting to craft adversarial examples that can effectively transfer to other similarity metrics in a black-box setting. We also combine the spatial attack stAdv with PGD ($\ell_\infty$-bounded) attack to increase transferability and use these adversarial examples to benchmark the robustness of both traditional and recently developed metrics. Our benchmark provides a good starting point for discussion and further research on the robustness of metrics to imperceptible adversarial perturbations.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL