ZeroNVS: Zero-Shot 360-Degree View Synthesis from a Single Real Image

要約

野生のシーン向けの単一画像の新しいビュー合成のための 3D 対応拡散モデル ZeroNVS を紹介します。
既存の手法はマスクされた背景を持つ単一のオブジェクト向けに設計されていますが、複雑な背景を持つ実際の複数オブジェクトのシーンによってもたらされる課題に対処するための新しい手法を提案します。
具体的には、オブジェクト中心の屋内および屋外のシーンをキャプチャするデータ ソースの混合に対して事前生成をトレーニングします。
深度スケールのあいまいさなどのデータ混合による問題に対処するために、新しいカメラ調整パラメータ化および正規化スキームを提案します。
さらに、スコア蒸留サンプリング (SDS) が 360 度シーンの蒸留中に複雑な背景の分布を切り捨てる傾向があることを観察し、合成された新しいビューの多様性を向上させるために「SDS アンカリング」を提案します。
私たちのモデルは、ゼロショット設定の DTU データセットの LPIPS で新しい最先端の結果を設定し、DTU で特別にトレーニングされたメソッドよりも優れたパフォーマンスを発揮します。
さらに、単一画像の新規ビュー合成の新しいベンチマークとして、困難な Mip-NeRF 360 データセットを適応させ、この設定で強力なパフォーマンスを実証します。
私たちのコードとデータは http://kylesargent.github.io/zeronvs/ にあります。

要約(オリジナル)

We introduce a 3D-aware diffusion model, ZeroNVS, for single-image novel view synthesis for in-the-wild scenes. While existing methods are designed for single objects with masked backgrounds, we propose new techniques to address challenges introduced by in-the-wild multi-object scenes with complex backgrounds. Specifically, we train a generative prior on a mixture of data sources that capture object-centric, indoor, and outdoor scenes. To address issues from data mixture such as depth-scale ambiguity, we propose a novel camera conditioning parameterization and normalization scheme. Further, we observe that Score Distillation Sampling (SDS) tends to truncate the distribution of complex backgrounds during distillation of 360-degree scenes, and propose ‘SDS anchoring’ to improve the diversity of synthesized novel views. Our model sets a new state-of-the-art result in LPIPS on the DTU dataset in the zero-shot setting, even outperforming methods specifically trained on DTU. We further adapt the challenging Mip-NeRF 360 dataset as a new benchmark for single-image novel view synthesis, and demonstrate strong performance in this setting. Our code and data are at http://kylesargent.github.io/zeronvs/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google