MVBoost: Boost 3D Reconstruction with Multi-View Refinement

要約

3D オブジェクトの再構築における最近の進歩は目覚ましいものですが、現在のほとんどの 3D モデルは既存の 3D データセットに大きく依存しています。
多様な 3D データセットが不足しているため、3D 再構築モデルの一般化機能が制限されています。
この論文では、擬似 GT データを生成することにより、マルチビュー リファインメントによる 3D 再構成をブーストするための新しいフレームワーク (MVBoost) を提案します。
MVBoost の鍵は、マルチビュー生成モデルの高精度と 3D 再構成モデ​​ルの一貫性の利点を組み合わせて、信頼性の高いデータ ソースを作成することです。
具体的には、単一ビューの入力画像が与えられた場合、マルチビュー拡散モデルを使用して複数のビューを生成し、続いて大規模な 3D 再構成モデ​​ルを使用して一貫した 3D データを生成します。
次に、MVBoost は、一貫した 3D データからレンダリングされたこれらのマルチビュー画像を適応的に改良し、フィードフォワード 3D 再構成モデ​​ルをトレーニングするための大規模なマルチビュー データセットを構築します。
さらに、入力ビューの最適化は、ユーザーの入力画像に基づいて対応する視点を最適化するように設計されており、最も重要な視点がユーザーのニーズに正確に合わせられるようになります。
広範な評価により、私たちの方法が以前の研究と比較して優れた再構成結果と堅牢な一般化を達成することが実証されました。

要約(オリジナル)

Recent advancements in 3D object reconstruction have been remarkable, yet most current 3D models rely heavily on existing 3D datasets. The scarcity of diverse 3D datasets results in limited generalization capabilities of 3D reconstruction models. In this paper, we propose a novel framework for boosting 3D reconstruction with multi-view refinement (MVBoost) by generating pseudo-GT data. The key of MVBoost is combining the advantages of the high accuracy of the multi-view generation model and the consistency of the 3D reconstruction model to create a reliable data source. Specifically, given a single-view input image, we employ a multi-view diffusion model to generate multiple views, followed by a large 3D reconstruction model to produce consistent 3D data. MVBoost then adaptively refines these multi-view images, rendered from the consistent 3D data, to build a large-scale multi-view dataset for training a feed-forward 3D reconstruction model. Additionally, the input view optimization is designed to optimize the corresponding viewpoints based on the user’s input image, ensuring that the most important viewpoint is accurately tailored to the user’s needs. Extensive evaluations demonstrate that our method achieves superior reconstruction results and robust generalization compared to prior works.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google