NeuralLift-360: Lifting An In-the-wild 2D Photo to A 3D Object with 360° Views

要約

仮想現実と拡張現実 (XR) により、3D コンテンツの需要が高まっています。
ただし、高品質の 3D コンテンツを作成するには、人間の専門家が行わなければならない退屈な作業が必要です。
この作業では、単一の画像を 3D オブジェクトに持ち上げるという困難なタスクを研究し、与えられた参照画像によく対応する 360{\deg} ビューでもっともらしい 3D オブジェクトを生成する能力を初めて実証しました。
参照画像を調整することにより、私たちのモデルは、画像からオブジェクトの新しいビューを合成するという永遠の好奇心を満たすことができます。
私たちの技術は、3D アーティストと XR デザイナーのワークフローを容易にする有望な方向性に光を当てます。
NeuralLift-360 と呼ばれる新しいフレームワークを提案します。これは、深度認識ニューラル放射輝度表現 (NeRF) を利用し、ノイズ除去拡散モデルによって導かれるシーンを作成することを学習します。
ランキングの損失を導入することで、NeuralLift-360 は実際に大まかな深さの見積もりで誘導できます。
また、一貫したガイダンスを提供する前に、拡散のために CLIP ガイド付きサンプリング戦略を採用しています。
広範な実験により、当社の NeuralLift-360 が既存の最先端のベースラインよりも大幅に優れていることが実証されています。
プロジェクトページ：https://vita-group.github.io/NeuralLift-360/

要約(オリジナル)

Virtual reality and augmented reality (XR) bring increasing demand for 3D content. However, creating high-quality 3D content requires tedious work that a human expert must do. In this work, we study the challenging task of lifting a single image to a 3D object and, for the first time, demonstrate the ability to generate a plausible 3D object with 360{\deg} views that correspond well with the given reference image. By conditioning on the reference image, our model can fulfill the everlasting curiosity for synthesizing novel views of objects from images. Our technique sheds light on a promising direction of easing the workflows for 3D artists and XR designers. We propose a novel framework, dubbed NeuralLift-360, that utilizes a depth-aware neural radiance representation (NeRF) and learns to craft the scene guided by denoising diffusion models. By introducing a ranking loss, our NeuralLift-360 can be guided with rough depth estimation in the wild. We also adopt a CLIP-guided sampling strategy for the diffusion prior to provide coherent guidance. Extensive experiments demonstrate that our NeuralLift-360 significantly outperforms existing state-of-the-art baselines. Project page: https://vita-group.github.io/NeuralLift-360/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google