IRAD: Implicit Representation-driven Image Resampling against Adversarial Attacks

要約

敵対的攻撃に対抗するための新しいアプローチ、つまり画像リサンプリングを紹介します。
画像リサンプリングは、離散画像を新しい画像に変換し、幾何学的変換で指定されたシーンの再キャプチャまたは再レンダリングのプロセスをシミュレートします。
私たちのアイデアの背後にある根本的な理論的根拠は、画像のリサンプリングにより、重要なセマンティック情報を維持しながら敵対的な摂動の影響を軽減できるため、敵対的な攻撃に対する防御に固有の利点がもたらされるということです。
この概念を検証するために、画像リサンプリングを活用して敵対的攻撃を防御することに関する包括的な研究を紹介します。
私たちは、補間戦略を採用し、シフトの大きさを調整する基本的なリサンプリング手法を開発しました。
私たちの分析により、これらの基本的な方法が敵対的攻撃を部分的に軽減できることが明らかになりました。
ただし、これらには明らかな制限があります。クリーンな画像の精度は著しく低下しますが、敵対的な例の精度の向上はそれほど大きくありません。
これらの制限を克服するために、暗黙的表現駆動型イメージ リサンプリング (IRAD) を提案します。
まず、連続座標空間内で任意の入力画像を表現できるようにする暗黙的な連続表現を構​​築します。
2 番目に、さまざまな入力に応じてリサンプリングのためのピクセル単位のシフトを自動的に生成する SampleNet を紹介します。
さらに、最先端の拡散ベースの手法にアプローチを拡張し、防御能力を維持しながらより少ないタイムステップで高速化することができます。
広範な実験により、私たちの方法がクリーンな画像で高精度を維持しながら、さまざまな攻撃に対する多様な深層モデルの敵対的堅牢性が大幅に強化されることが実証されています。

要約(オリジナル)

We introduce a novel approach to counter adversarial attacks, namely, image resampling. Image resampling transforms a discrete image into a new one, simulating the process of scene recapturing or rerendering as specified by a geometrical transformation. The underlying rationale behind our idea is that image resampling can alleviate the influence of adversarial perturbations while preserving essential semantic information, thereby conferring an inherent advantage in defending against adversarial attacks. To validate this concept, we present a comprehensive study on leveraging image resampling to defend against adversarial attacks. We have developed basic resampling methods that employ interpolation strategies and coordinate shifting magnitudes. Our analysis reveals that these basic methods can partially mitigate adversarial attacks. However, they come with apparent limitations: the accuracy of clean images noticeably decreases, while the improvement in accuracy on adversarial examples is not substantial. We propose implicit representation-driven image resampling (IRAD) to overcome these limitations. First, we construct an implicit continuous representation that enables us to represent any input image within a continuous coordinate space. Second, we introduce SampleNet, which automatically generates pixel-wise shifts for resampling in response to different inputs. Furthermore, we can extend our approach to the state-of-the-art diffusion-based method, accelerating it with fewer time steps while preserving its defense capability. Extensive experiments demonstrate that our method significantly enhances the adversarial robustness of diverse deep models against various attacks while maintaining high accuracy on clean images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google