Which Models have Perceptually-Aligned Gradients? An Explanation via Off-Manifold Robustness

要約

堅牢なコンピュータ ビジョン モデルの注目すべき特性の 1 つは、その入力勾配が人間の知覚と一致していることが多く、文献では知覚整合勾配 (PAG) と呼ばれています。
PAG は分類のみを目的としてトレーニングされているにもかかわらず、堅牢なモデルに画像生成、ノイズ除去、インペインティングなどの基本的な生成機能を持たせます。
しかし、これらの現象の背後にある根本的なメカニズムは依然として不明です。
この研究では、 \emph{オフ多様体の堅牢性} によって PAG の最初の説明を提供します。これは、モデルはデータ多様体上よりもデータ多様体外でより堅牢でなければならないと述べています。
我々はまず、オフ多様体ロバスト性により入力勾配がほぼデータ多様体上に位置することを理論的に実証し、それらの知覚的な整合性を説明します。
次に、ベイズ最適モデルがオフマニホールドのロバスト性を満たすことを示し、勾配ノルム正則化、ノイズ増大、ランダム化平滑化によってトレーニングされたロバストなモデルについても同じことを経験的に確認します。
生成モデルの勾配との類似性を介してモデル勾配の知覚的整合性を定量化することにより、オフマニホールドのロバスト性が知覚的整合性とよく相関することを示します。
最後に、オンマニホールドおよびオフマニホールドのロバスト性のレベルに基づいて、知覚的整合性とモデル精度の両方に影響を与える 3 つの異なるロバスト性領域、つまり、弱いロバスト性、ベイズ整列されたロバスト性、および過剰なロバスト性を特定します。

要約(オリジナル)

One of the remarkable properties of robust computer vision models is that their input-gradients are often aligned with human perception, referred to in the literature as perceptually-aligned gradients (PAGs). Despite only being trained for classification, PAGs cause robust models to have rudimentary generative capabilities, including image generation, denoising, and in-painting. However, the underlying mechanisms behind these phenomena remain unknown. In this work, we provide a first explanation of PAGs via \emph{off-manifold robustness}, which states that models must be more robust off- the data manifold than they are on-manifold. We first demonstrate theoretically that off-manifold robustness leads input gradients to lie approximately on the data manifold, explaining their perceptual alignment. We then show that Bayes optimal models satisfy off-manifold robustness, and confirm the same empirically for robust models trained via gradient norm regularization, noise augmentation, and randomized smoothing. Quantifying the perceptual alignment of model gradients via their similarity with the gradients of generative models, we show that off-manifold robustness correlates well with perceptual alignment. Finally, based on the levels of on- and off-manifold robustness, we identify three different regimes of robustness that affect both perceptual alignment and model accuracy: weak robustness, bayes-aligned robustness, and excessive robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google