RealFusion: 360° Reconstruction of Any Object from a Single Image

要約

オブジェクトの 1 つの画像から、オブジェクトの完全な 360{\deg} 写真モデルを再構築する問題を考えます。
ニューラル放射輝度フィールドを画像に当てはめることでこれを行いますが、この問題は非常に不適切であることがわかります。
このように、拡散に基づいたオフザセルフの条件付き画像ジェネレーターを採用し、オブジェクトの新しいビューを「夢見る」ように促すプロンプトを設計します。
DreamFields と DreamFusion に触発されたアプローチを使用して、指定された入力ビュー、条件付き事前確率、およびその他の正則化子を最終的な一貫性のある再構成に融合します。
オブジェクトの単眼 3D 再構成の従来の方法と比較した場合、ベンチマーク画像で最先端の再構成結果を示します。
定性的には、再構成は入力ビューの忠実な一致と、画像に表示されていないオブジェクトの側面を含む、その外観と 3D 形状のもっともらしい外挿を提供します。

要約(オリジナル)

We consider the problem of reconstructing a full 360{\deg} photographic model of an object from a single image of it. We do so by fitting a neural radiance field to the image, but find this problem to be severely ill-posed. We thus take an off-the-self conditional image generator based on diffusion and engineer a prompt that encourages it to ‘dream up’ novel views of the object. Using an approach inspired by DreamFields and DreamFusion, we fuse the given input view, the conditional prior, and other regularizers in a final, consistent reconstruction. We demonstrate state-of-the-art reconstruction results on benchmark images when compared to prior methods for monocular 3D reconstruction of objects. Qualitatively, our reconstructions provide a faithful match of the input view and a plausible extrapolation of its appearance and 3D shape, including to the side of the object not visible in the image.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google