UpFusion: Novel View Diffusion from Unposed Sparse View Observations

要約

我々は、新しいビュー合成を実行し、対応する姿勢情報のない参照画像のまばらなセットが与えられたオブジェクトの 3D 表現を推測できるシステムである UpFusion を提案します。
現在のスパースビュー 3D 推論方法は通常、カメラのポーズに依存して入力ビューからの情報を幾何学的に集約しますが、そのような情報が利用できない/不正確な場合には、実際には堅牢ではありません。
対照的に、UpFusion は、新しいビューを合成するための条件付き生成モデルのコンテキストとして利用可能な画像を暗黙的に活用することを学習することで、この要件を回避します。
入力ビューを活用するために、2 つの相補的な形式の条件付けを拡散モデルに組み込みます。a) シーンレベルのトランスフォーマーを使用してクエリビューに位置合わせされた特徴を推論することにより、b) 入力画像トークンを直接観察できる中間アテンション層を介して。
このメカニズムにより、追加の (ポーズを付けていない) 画像が与えられた場合に合成品質を向上させながら、高忠実度の新しいビューを生成できることを示します。
Co3Dv2 および Google Scanned Objects データセットに対するアプローチを評価し、ポーズ依存のスパース ビュー メソッドや、追加のビューを利用できないシングルビュー メソッドと比較したこのメソッドの利点を実証します。
最後に、私たちの学習済みモデルはトレーニング カテゴリを超えて一般化でき、野生の一般的なオブジェクトの自己撮影画像からの再構成も可能であることも示します。

要約(オリジナル)

We propose UpFusion, a system that can perform novel view synthesis and infer 3D representations for an object given a sparse set of reference images without corresponding pose information. Current sparse-view 3D inference methods typically rely on camera poses to geometrically aggregate information from input views, but are not robust in-the-wild when such information is unavailable/inaccurate. In contrast, UpFusion sidesteps this requirement by learning to implicitly leverage the available images as context in a conditional generative model for synthesizing novel views. We incorporate two complementary forms of conditioning into diffusion models for leveraging the input views: a) via inferring query-view aligned features using a scene-level transformer, b) via intermediate attentional layers that can directly observe the input image tokens. We show that this mechanism allows generating high-fidelity novel views while improving the synthesis quality given additional (unposed) images. We evaluate our approach on the Co3Dv2 and Google Scanned Objects datasets and demonstrate the benefits of our method over pose-reliant sparse-view methods as well as single-view methods that cannot leverage additional views. Finally, we also show that our learned model can generalize beyond the training categories and even allow reconstruction from self-captured images of generic objects in-the-wild.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google