Multi-scale Diffusion Denoised Smoothing

要約

最近の拡散モデルと同様に、ランダム化スムージングは​​、大規模なモデル (事前トレーニング済みモデルなど) に対して敵対的な堅牢性を提供する数少ない具体的なアプローチの 1 つとなっています。
具体的には、拡散モデルなどの正確なノイズ除去器が利用可能であれば、単純な「ノイズ除去と分類」パイプラインを介して任意の分類器に対してランダム化されたスムージング、いわゆるノイズ除去スムージングを実行できます。
この論文では、ノイズ除去平滑化の精度と証明された堅牢性の間のトレードオフを調査します。たとえば、拡散モデルのどの表現がノイズ除去平滑化の証明された堅牢性を最大化するかについて疑問を呈します。
私たちは、共有拡散モデルにおける複数のノイズ レベルにわたる平滑化分類器の集合的な堅牢性を目指す新しい目標を検討します。これは、保証された堅牢性のためにランダム化平滑化の精度のコストを補償する新しい方法も提案します。
この目的により、拡散モデルを微調整して、(a) 元の画像が復元可能な場合は常に一貫したノイズ除去を実行しますが、(b) それ以外の場合はかなり多様な出力を生成します。
私たちの実験では、この拡散モデルの微調整スキームとマルチスケール平滑化を組み合わせることで、平滑化されていない分類器に近い精度を維持しながら、最高のノイズ レベルでも可能な強力な認証済みの堅牢性が可能になることが示されています。

要約(オリジナル)

Along with recent diffusion models, randomized smoothing has become one of a few tangible approaches that offers adversarial robustness to models at scale, e.g., those of large pre-trained models. Specifically, one can perform randomized smoothing on any classifier via a simple ‘denoise-and-classify’ pipeline, so-called denoised smoothing, given that an accurate denoiser is available – such as diffusion model. In this paper, we investigate the trade-off between accuracy and certified robustness of denoised smoothing: for example, we question on which representation of diffusion model would maximize the certified robustness of denoised smoothing. We consider a new objective that aims collective robustness of smoothed classifiers across multiple noise levels at a shared diffusion model, which also suggests a new way to compensate the cost of accuracy in randomized smoothing for its certified robustness. This objective motivates us to fine-tune diffusion model (a) to perform consistent denoising whenever the original image is recoverable, but (b) to generate rather diverse outputs otherwise. Our experiments show that this fine-tuning scheme of diffusion models combined with the multi-scale smoothing enables a strong certified robustness possible at highest noise level while maintaining the accuracy closer to non-smoothed classifiers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google