Multi-scale Diffusion Denoised Smoothing

要約

最近の拡散モデルと同様に、ランダム化スムージングは​​、大規模なモデル (事前トレーニング済みモデルなど) に対して敵対的な堅牢性を提供する数少ない具体的なアプローチの 1 つとなっています。
具体的には、拡散モデルなどの正確なノイズ除去器が利用可能であれば、単純な「ノイズ除去と分類」パイプラインを介して任意の分類器に対してランダム化されたスムージング、いわゆるノイズ除去スムージングを実行できます。
この論文では、ノイズ除去された平滑化における認定された堅牢性と精度の間の現在のトレードオフに対処するためのスケーラブルな方法を紹介します。
私たちの重要なアイデアは、複数のノイズ スケール間で平滑化を「選択的に」適用することです。マルチスケール スムージングという造語は、単一の拡散モデルで効率的に実装できます。
このアプローチは、マルチスケール平滑化分類器の集合的なロバスト性を比較するという新しい目的も示唆しており、拡散モデルのどの表現が目的を最大化するかについて疑問を呈します。
これに対処するために、拡散モデルをさらに微調整して、(a) 元の画像が復元可能な場合は常に一貫したノイズ除去を実行するが、(b) それ以外の場合はかなり多様な出力を生成することを提案します。
私たちの実験は、提案されたマルチスケール平滑化スキームと拡散微調整を組み合わせることで、非平滑化分類器に近い精度を維持しながら、高ノイズレベルでも利用できる強力な認証済みの堅牢性が可能になることを示しています。

要約(オリジナル)

Along with recent diffusion models, randomized smoothing has become one of a few tangible approaches that offers adversarial robustness to models at scale, e.g., those of large pre-trained models. Specifically, one can perform randomized smoothing on any classifier via a simple ‘denoise-and-classify’ pipeline, so-called denoised smoothing, given that an accurate denoiser is available – such as diffusion model. In this paper, we present scalable methods to address the current trade-off between certified robustness and accuracy in denoised smoothing. Our key idea is to ‘selectively’ apply smoothing among multiple noise scales, coined multi-scale smoothing, which can be efficiently implemented with a single diffusion model. This approach also suggests a new objective to compare the collective robustness of multi-scale smoothed classifiers, and questions which representation of diffusion model would maximize the objective. To address this, we propose to further fine-tune diffusion model (a) to perform consistent denoising whenever the original image is recoverable, but (b) to generate rather diverse outputs otherwise. Our experiments show that the proposed multi-scale smoothing scheme combined with diffusion fine-tuning enables strong certified robustness available with high noise level while maintaining its accuracy closer to non-smoothed classifiers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google