PanoDreamer: Optimization-Based Single Image to 360 3D Scene With Diffusion

要約

この論文では、単一の入力画像からコヒーレント360 {\ deg} 3Dシーンを生成するための新しい方法であるPanodReamerを紹介します。
シーンを順番に生成する既存のメソッドとは異なり、問題を単一イメージのパノラマおよび深度推定としてフレーム化します。
コヒーレントなパノラマ画像とそれに対応する深さが得られると、シーンは、小さな閉塞領域を開閉して3D空間に投影することで再構築できます。
私たちの重要な貢献は、単一イメージのパノラマと深さの推定を2つの最適化タスクとして策定し、目標を効果的に解決するための交互の最小化戦略を導入することです。
私たちのアプローチは、一貫性と全体的な品質の観点から、シングルイメージ360 {\ deg} 3Dシーンの再構築の既存の手法を上回ることを実証します。

要約(オリジナル)

In this paper, we present PanoDreamer, a novel method for producing a coherent 360{\deg} 3D scene from a single input image. Unlike existing methods that generate the scene sequentially, we frame the problem as single-image panorama and depth estimation. Once the coherent panoramic image and its corresponding depth are obtained, the scene can be reconstructed by inpainting the small occluded regions and projecting them into 3D space. Our key contribution is formulating single-image panorama and depth estimation as two optimization tasks and introducing alternating minimization strategies to effectively solve their objectives. We demonstrate that our approach outperforms existing techniques in single-image 360{\deg} 3D scene reconstruction in terms of consistency and overall quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google