Gradient Adjusting Networks for Domain Inversion

要約

StyleGAN2 は、セマンティック編集をサポートする強力な画像生成エンジンであることが実証されました。
ただし、現実世界の画像を操作するには、まず、目的の画像にできるだけ近い画像にデコードされる StyleGAN の潜在空間で対応する潜在表現を取得できる必要があります。
多くの現実世界の画像では、潜在的な表現が存在しないため、ジェネレーター ネットワークの調整が必要になります。
入力潜在表現テンソル間の残りのマッピングを維持することにより、StyleGAN2ジェネレーターを調整してジェネレーターの重みをローカル編集し、画像編集を可能にしながらほぼ完全な反転を実現する画像ごとの最適化方法を提示します
出力画像は比較的無傷です。
この方法は、ジェネレーターのレイヤーを変更する一連の浅い更新ネットワーク (別名、勾配変更モジュール) のワンショット トレーニングに基づいています。
勾配変更モジュールをトレーニングした後、これらのネットワークを元のパラメーターに 1 回適用することで、変更されたジェネレーターが取得され、ジェネレーターの以前の編集機能が維持されます。
私たちの実験では、この非常に活発な領域で、現在の最先端技術と比べてパフォーマンスにかなりのギャップがあることが示されています。
私たちのコードは、\url{https://github.com/sheffier/gani} で入手できます。

要約(オリジナル)

StyleGAN2 was demonstrated to be a powerful image generation engine that supports semantic editing. However, in order to manipulate a real-world image, one first needs to be able to retrieve its corresponding latent representation in StyleGAN’s latent space that is decoded to an image as close as possible to the desired image. For many real-world images, a latent representation does not exist, which necessitates the tuning of the generator network. We present a per-image optimization method that tunes a StyleGAN2 generator such that it achieves a local edit to the generator’s weights, resulting in almost perfect inversion, while still allowing image editing, by keeping the rest of the mapping between an input latent representation tensor and an output image relatively intact. The method is based on a one-shot training of a set of shallow update networks (aka. Gradient Modification Modules) that modify the layers of the generator. After training the Gradient Modification Modules, a modified generator is obtained by a single application of these networks to the original parameters, and the previous editing capabilities of the generator are maintained. Our experiments show a sizable gap in performance over the current state of the art in this very active domain. Our code is available at \url{https://github.com/sheffier/gani}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google