SpaRP: Fast 3D Object Reconstruction and Pose Estimation from Sparse Views

要約

オープンワールド 3D 生成は、最近大きな注目を集めています。
単一画像を 3D に変換する多くの方法では、視覚的に魅力的な結果が得られますが、多くの場合、十分な制御性に欠けており、ユーザーの期待と一致しない幻覚領域が生成される傾向があります。
このペーパーでは、入力が 1 つのオブジェクトの 1 つまたはいくつかのポーズされていない 2D 画像で構成され、重なりがほとんどまたはまったくない重要なシナリオを検討します。
我々は、3D テクスチャメッシュを再構築し、これらのスパースビュー画像の相対的なカメラポーズを推定する新しい方法、SpaRP を提案します。
SpaRP は 2D 拡散モデルから知識を抽出し、それらを微調整して、まばらなビュー間の 3D 空間関係を暗黙的に推定します。
拡散モデルは、カメラのポーズの代理表現と既知のポーズの下でのオブジェクトのマルチビュー画像を共同で予測するようにトレーニングされ、入力されたまばらなビューからのすべての情報を統合します。
これらの予測は 3D 再構成と姿勢推定を行うために利用され、再構成された 3D モデルを使用して入力ビューのカメラ ポーズをさらに調整することができます。
3 つのデータセットに対する広範な実験を通じて、私たちの方法が 3D 再構成の品質と姿勢予測精度の点でベースライン方法を大幅に上回るだけでなく、高い効率性も示すことを実証しました。
入力ビューのテクスチャ メッシュとカメラ ポーズの作成には、わずか約 20 秒しかかかりません。
プロジェクトページ：https://chaoxu.xyz/sparp。

要約(オリジナル)

Open-world 3D generation has recently attracted considerable attention. While many single-image-to-3D methods have yielded visually appealing outcomes, they often lack sufficient controllability and tend to produce hallucinated regions that may not align with users’ expectations. In this paper, we explore an important scenario in which the input consists of one or a few unposed 2D images of a single object, with little or no overlap. We propose a novel method, SpaRP, to reconstruct a 3D textured mesh and estimate the relative camera poses for these sparse-view images. SpaRP distills knowledge from 2D diffusion models and finetunes them to implicitly deduce the 3D spatial relationships between the sparse views. The diffusion model is trained to jointly predict surrogate representations for camera poses and multi-view images of the object under known poses, integrating all information from the input sparse views. These predictions are then leveraged to accomplish 3D reconstruction and pose estimation, and the reconstructed 3D model can be used to further refine the camera poses of input views. Through extensive experiments on three datasets, we demonstrate that our method not only significantly outperforms baseline methods in terms of 3D reconstruction quality and pose prediction accuracy but also exhibits strong efficiency. It requires only about 20 seconds to produce a textured mesh and camera poses for the input views. Project page: https://chaoxu.xyz/sparp.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google