OrthoPlanes: A Novel Representation for Better 3D-Awareness of GANs

要約

我々は、2D 画像コレクションから微細なジオメトリを持つリアルでビューの一貫した画像を生成する新しい方法を紹介します。
私たちの手法は \textbf{OrthoPlanes} と呼ばれる明示的-暗黙的なハイブリッド表現を提案します。これは、2D StyleGAN を変更することで効率的に生成できる特徴マップ内のきめの細かい 3D 情報をエンコードします。
以前の表現と比較して、私たちの方法は、明確で明示的な情報による拡張性と表現力が優れています。
その結果、私たちの方法は、より困難な視野角を処理し、高い空間自由度で多関節オブジェクトを合成することができます。
実験では、私たちの方法が FFHQ および SHHQ データセットに対して定量的および定性的に最先端の結果を達成することを示しています。
プロジェクト ページ: \url{https://orthoplanes.github.io/}。

要約(オリジナル)

We present a new method for generating realistic and view-consistent images with fine geometry from 2D image collections. Our method proposes a hybrid explicit-implicit representation called \textbf{OrthoPlanes}, which encodes fine-grained 3D information in feature maps that can be efficiently generated by modifying 2D StyleGANs. Compared to previous representations, our method has better scalability and expressiveness with clear and explicit information. As a result, our method can handle more challenging view-angles and synthesize articulated objects with high spatial degree of freedom. Experiments demonstrate that our method achieves state-of-the-art results on FFHQ and SHHQ datasets, both quantitatively and qualitatively. Project page: \url{https://orthoplanes.github.io/}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google