Monocular 3D Object Reconstruction with GAN Inversion

要約

単眼画像からテクスチャ3Dメッシュを復元することは、特に3Dグラウンドトゥルースを欠く野生のオブジェクトにとっては非常に困難です。
この作業では、3Dテクスチャメッシュ合成用に事前トレーニングされた3D GANの生成的事前処理を活用することにより、再構成を改善するための新しいフレームワークであるMeshInversionを紹介します。
再構成は、単一ビューの観察に従って、ターゲットメッシュに最もよく似ている3DGAN内の潜在空間を検索することによって実現されます。
事前にトレーニングされたGANは、メッシュのジオメトリとテクスチャの観点から豊富な3Dセマンティクスをカプセル化するため、GAN多様体内を検索すると、再構成の現実性と忠実度が自然に正規化されます。
重要なことに、このような正則化は3D空間に直接適用され、2D空間では観察されないメッシュパーツの重要なガイダンスを提供します。
標準ベンチマークでの実験は、私たちのフレームワークが、観察された部分と観察されていない部分の両方で一貫したジオメトリとテクスチャを備えた忠実な3D再構成を取得することを示しています。
さらに、変形可能なオブジェクトの拡張されたアーティキュレーションなど、あまり一般的に見られないメッシュによく一般化されます。
コードはhttps://github.com/junzhezhang/mesh-inversionでリリースされています

要約(オリジナル)

Recovering a textured 3D mesh from a monocular image is highly challenging, particularly for in-the-wild objects that lack 3D ground truths. In this work, we present MeshInversion, a novel framework to improve the reconstruction by exploiting the generative prior of a 3D GAN pre-trained for 3D textured mesh synthesis. Reconstruction is achieved by searching for a latent space in the 3D GAN that best resembles the target mesh in accordance with the single view observation. Since the pre-trained GAN encapsulates rich 3D semantics in terms of mesh geometry and texture, searching within the GAN manifold thus naturally regularizes the realness and fidelity of the reconstruction. Importantly, such regularization is directly applied in the 3D space, providing crucial guidance of mesh parts that are unobserved in the 2D space. Experiments on standard benchmarks show that our framework obtains faithful 3D reconstructions with consistent geometry and texture across both observed and unobserved parts. Moreover, it generalizes well to meshes that are less commonly seen, such as the extended articulation of deformable objects. Code is released at https://github.com/junzhezhang/mesh-inversion

arxiv情報

提供元, 利用サービス

arxiv.jp, Google