StyleGAN knows Normal, Depth, Albedo, and More

要約

本来の意味では、固有イメージは、深度、法線、アルベド、シェーディングなどのシーンのプロパティのイメージのようなマップです。
この論文は、StyleGAN が固有の画像を生成するように簡単に誘導できることを実証します。
手順は簡単です。
StyleGAN が潜在 ${w}$ から $G({w})$ を生成する場合、固有画像のタイプごとに固定オフセット ${d}_c$ があり、$G({w}
+{d}_c)$ は、$G({w})$ の固有イメージのタイプです。
ここで ${d}_c$ は、{\em は ${w}$} から独立しています。
私たちが使用した StyleGAN は他の人によって事前トレーニングされたものであるため、この特性は私たちのトレーニング計画の偶然ではありません。
StyleGAN がこの方法で生成しない画像変換があることを示します。そのため、StyleGAN は汎用の画像回帰エンジンではありません。
画像ジェネレーターが固有の画像を「認識」して表現する必要があるということは、概念的に刺激的です。
生成モデルを使用して固有の画像を生成することには、実際的な利点もあります。
StyleGAN から取得された固有の画像は、SOTA 画像回帰技術を使用して取得された画像と定性的にも定量的にもよく比較されます。
ただし、StyleGAN の固有の画像は、SOTA 手法とは異なり、再照明効果に対して堅牢です。

要約(オリジナル)

Intrinsic images, in the original sense, are image-like maps of scene properties like depth, normal, albedo or shading. This paper demonstrates that StyleGAN can easily be induced to produce intrinsic images. The procedure is straightforward. We show that, if StyleGAN produces $G({w})$ from latents ${w}$, then for each type of intrinsic image, there is a fixed offset ${d}_c$ so that $G({w}+{d}_c)$ is that type of intrinsic image for $G({w})$. Here ${d}_c$ is {\em independent of ${w}$}. The StyleGAN we used was pretrained by others, so this property is not some accident of our training regime. We show that there are image transformations StyleGAN will {\em not} produce in this fashion, so StyleGAN is not a generic image regression engine. It is conceptually exciting that an image generator should “know” and represent intrinsic images. There may also be practical advantages to using a generative model to produce intrinsic images. The intrinsic images obtained from StyleGAN compare well both qualitatively and quantitatively with those obtained by using SOTA image regression techniques; but StyleGAN’s intrinsic images are robust to relighting effects, unlike SOTA methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google