Region-Based Semantic Factorization in GANs

要約

Generative Adversarial Networks (GAN) の潜在空間におけるセマンティック発見の急速な進歩にもかかわらず、既存のアプローチは、グローバル属性の検索に限定されているか、ローカル属性を識別するために多数のセグメンテーション マスクに依存しています。
この作業では、任意の画像領域に関してGANによって学習された潜在的なセマンティクスを因数分解するための非常に効率的なアルゴリズムを提示します。
具体的には、事前にトレーニングされた GAN を使用したローカル操作のタスクを再検討し、領域ベースのセマンティック検出をデュアル最適化問題として定式化します。
適切に定義された一般化されたレイリー商により、注釈やトレーニングなしでこのような問題を解決することができます。
さまざまな最先端のGANモデルに関する実験結果は、私たちのアプローチの有効性と、正確な制御、領域の堅牢性、実装の速度、および使いやすさに関する従来技術に対する優位性を示しています。

要約(オリジナル)

Despite the rapid advancement of semantic discovery in the latent space of Generative Adversarial Networks (GANs), existing approaches either are limited to finding global attributes or rely on a number of segmentation masks to identify local attributes. In this work, we present a highly efficient algorithm to factorize the latent semantics learned by GANs concerning an arbitrary image region. Concretely, we revisit the task of local manipulation with pre-trained GANs and formulate region-based semantic discovery as a dual optimization problem. Through an appropriately defined generalized Rayleigh quotient, we manage to solve such a problem without any annotations or training. Experimental results on various state-of-the-art GAN models demonstrate the effectiveness of our approach, as well as its superiority over prior arts regarding precise control, region robustness, speed of implementation, and simplicity of use.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google