Inverting Adversarially Robust Networks for Image Synthesis

要約

無条件の特徴反転が多くの画像合成アプリケーションの基盤であるにもかかわらず、インバーターのトレーニングには、高い計算予算、大きなデコード容量、自己回帰事前確率などの厳しい条件が必要です。
これらの制限に対処するために、機能反転の知覚プリミティブとして敵対的に堅牢な表現を使用することを提案します。
敵対的に堅牢なエンコーダーをトレーニングして、もつれを解き、知覚的に整列した画像表現を抽出し、それらを簡単に元に戻すことができるようにします。
エンコーダーのミラー アーキテクチャを使用して単純なジェネレーターをトレーニングすることにより、標準モデルよりも優れた再構成品質と一般化を実現します。
これに基づいて、敵対的に堅牢なオートエンコーダーを提案し、スタイル転送、画像のノイズ除去、および異常検出タスクでのパフォーマンスの向上を示します。
最近の ImageNet 特徴反転法と比較して、私たちのモデルは、複雑さを大幅に軽減しながらパフォーマンスを向上させます。

要約(オリジナル)

Despite unconditional feature inversion being the foundation of many image synthesis applications, training an inverter demands a high computational budget, large decoding capacity and imposing conditions such as autoregressive priors. To address these limitations, we propose the use of adversarially robust representations as a perceptual primitive for feature inversion. We train an adversarially robust encoder to extract disentangled and perceptually-aligned image representations, making them easily invertible. By training a simple generator with the mirror architecture of the encoder, we achieve superior reconstruction quality and generalization over standard models. Based on this, we propose an adversarially robust autoencoder and demonstrate its improved performance on style transfer, image denoising and anomaly detection tasks. Compared to recent ImageNet feature inversion methods, our model attains improved performance with significantly less complexity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google