DreamTexture: Shape from Virtual Texture with Analysis by Augmentation

要約

DreamFusionは、生成モデルの進歩と微分可能なレンダリングを組み合わせることにより、仮想ビューからの監視されていない3D再構築のための新しいパラダイムを確立しました。
ただし、基礎となるマルチビューレンダリングは、大規模な生成モデルからの監督とともに、計算的に高価であり、制約が不十分です。
DreamTextureを提案します。これは、単眼の深さの手がかりを活用して3Dオブジェクトを再構築する新しい姿勢からテクスチャからの斬新なアプローチです。
私たちのメソッドテクスチャは、仮想テクスチャを入力の実際の深さのキューに合わせて入力画像をテクスチャにし、最新の拡散モデルにエンコードされた単眼のジオメトリの固有の理解を活用します。
次に、新しいコンフォーマルマップ最適化を使用して、仮想テクスチャの変形から深さを再構築します。これにより、メモリ集約的な体積表現が軽減されます。
私たちの実験は、生成モデルが単眼の形状キューの理解を持っていることを明らかにしています。これは、テクスチャキューを増強して整列させることで抽出できることが明らかになりました。

要約(オリジナル)

DreamFusion established a new paradigm for unsupervised 3D reconstruction from virtual views by combining advances in generative models and differentiable rendering. However, the underlying multi-view rendering, along with supervision from large-scale generative models, is computationally expensive and under-constrained. We propose DreamTexture, a novel Shape-from-Virtual-Texture approach that leverages monocular depth cues to reconstruct 3D objects. Our method textures an input image by aligning a virtual texture with the real depth cues in the input, exploiting the inherent understanding of monocular geometry encoded in modern diffusion models. We then reconstruct depth from the virtual texture deformation with a new conformal map optimization, which alleviates memory-intensive volumetric representations. Our experiments reveal that generative models possess an understanding of monocular shape cues, which can be extracted by augmenting and aligning texture cues — a novel monocular reconstruction paradigm that we call Analysis by Augmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google