Finding the global semantic representation in GAN through Frechet Mean

要約

GAN で理想的に解きほぐされた潜在空間には、セマンティック属性座標を使用した潜在空間のグローバルな表現が含まれます。
言い換えれば、この絡み合っていない空間には、各基底コンポーネントが生成された画像の 1 つの属性を記述するベクトル空間としてグローバルな意味基底が存在します。
この論文では、GANの中間潜在空間でこのグローバルな意味的基礎を見つけるための教師なし方法を提案します。
このセマンティック基盤は、潜在空間全体で画像の同じセマンティック属性を変更する、サンプルに依存しない意味のある摂動を表します。
フレシェ基底と呼ばれる提案された大域基底は、フレシェ平均を潜在空間の局所的意味摂動に導入することによって導き出されます。
Fr\’echet 基底は 2 段階で発見されます。
まず、グローバル意味部分空間は、ローカル意味部分空間のグラスマン多様体におけるフレチェット平均によって発見されます。
次に、Fr\’echet 基底は、特殊直交群の Fr\’echet 平均を介して意味部分空間の基底を最適化することによって見つけられます。
実験結果は、以前の方法と比較して、Fr\’echet 基底がより優れたセマンティック因数分解とロバスト性を提供することを示しています。
さらに、以前の方法の基本改良スキームを提案します。
定量的実験は、洗練された基礎が以前の方法と同じ意味部分空間を生成しながら、より良い意味因子分解を達成することを示しています。

要約(オリジナル)

The ideally disentangled latent space in GAN involves the global representation of latent space using semantic attribute coordinates. In other words, in this disentangled space, there exists the global semantic basis as a vector space where each basis component describes one attribute of generated images. In this paper, we propose an unsupervised method for finding this global semantic basis in the intermediate latent space in GANs. This semantic basis represents sample-independent meaningful perturbations that change the same semantic attribute of an image on the entire latent space. The proposed global basis, called Fr\’echet basis, is derived by introducing Fr\’echet mean to the local semantic perturbations in a latent space. Fr\’echet basis is discovered in two stages. First, the global semantic subspace is discovered by the Fr\’echet mean in the Grassmannian manifold of the local semantic subspaces. Second, Fr\’echet basis is found by optimizing a basis of the semantic subspace via the Fr\’echet mean in the Special Orthogonal Group. Experimental results demonstrate that Fr\’echet basis provides better semantic factorization and robustness compared to the previous methods. Moreover, we suggest the basis refinement scheme for the previous methods. The quantitative experiments show that the refined basis achieves better semantic factorization while generating the same semantic subspace as the previous method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google