Adversarial robustness of VAEs through the lens of local geometry

要約

タイトル：ローカルジオメトリのレンズを通じたVAEの敵対的強靱性
要約：
– VAEを用いた敵対的攻撃では、入力サンプルの小さな歪みを見つけ出すことで、その潜在空間のエンコーディングを大幅に変化させ、固定されたデコーダの復元を破壊する。
– その脆弱性の一つの原因は、近似された潜在後方分布と事前分布の不一致による潜在空間の歪みである。
– この論文では、最適な攻撃方法は、エンコーダーとデコーダーネットワークによって誘導される確率的プルバックメトリックテンソルの方向性バイアスを利用することであることを示している。
– エンコーダのプルバックメトリックテンソルは、入力から潜在空間に対する微小な体積の変化を測定する。したがって、入力の歪みによる潜在空間の歪みの効果を分析するためのレンズとして見ることができる。
– プルバックメトリックテンソルの固有スペクトルを使用した強靭性評価スコアを提案し、これらのスコアが$\beta$-VAEの強靭性パラメータと相関することを実証する。
– 規定$\beta$を増加させると復元品質が低下するため、潜在空間の空白領域を埋めるためにmixupトレーニングを使用すると、強靭性が向上し、復元品質も改善されるというシンプルな代替手法を実証する。

要約(オリジナル)

In an unsupervised attack on variational autoencoders (VAEs), an adversary finds a small perturbation in an input sample that significantly changes its latent space encoding, thereby compromising the reconstruction for a fixed decoder. A known reason for such vulnerability is the distortions in the latent space resulting from a mismatch between approximated latent posterior and a prior distribution. Consequently, a slight change in an input sample can move its encoding to a low/zero density region in the latent space resulting in an unconstrained generation. This paper demonstrates that an optimal way for an adversary to attack VAEs is to exploit a directional bias of a stochastic pullback metric tensor induced by the encoder and decoder networks. The pullback metric tensor of an encoder measures the change in infinitesimal latent volume from an input to a latent space. Thus, it can be viewed as a lens to analyse the effect of input perturbations leading to latent space distortions. We propose robustness evaluation scores using the eigenspectrum of a pullback metric tensor. Moreover, we empirically show that the scores correlate with the robustness parameter $\beta$ of the $\beta-$VAE. Since increasing $\beta$ also degrades reconstruction quality, we demonstrate a simple alternative using \textit{mixup} training to fill the empty regions in the latent space, thus improving robustness with improved reconstruction.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI