Generative Object Insertion in Gaussian Splatting with a Multi-View Diffusion Model

要約

新しいオブジェクトを3Dコンテンツに生成して挿入することは、汎用性の高いシーンレクリエーションを実現するための説得力のあるアプローチです。
SDSの最適化またはシングルビューのインピンティングに依存する既存の方法は、多くの場合、高品質の結果を生み出すのに苦労しています。
これに対処するために、ガウススプラッティングに代表される3Dコンテンツにオブジェクト挿入の新しい方法を提案します。
私たちのアプローチでは、MvinPainterと呼ばれるマルチビュー拡散モデルを紹介します。これは、ビューコンシンテーションオブジェクトの入力を促進するために、事前に訓練された安定したビデオ拡散モデルの上に構築されています。
Mvinpainter内には、制御されたより予測可能なマルチビュー生成を可能にするために、コントロールネットベースの条件付き噴射モジュールを組み込みます。
マルチビューで塗装された結果を生成した後、これらのまばらな塗装されたビューからガウスのスプラット再構成を改良するためのマスク認識3D再構築技術をさらに提案します。
これらの製造技術を活用することにより、私たちのアプローチは多様な結果をもたらし、視聴と調和のとれた挿入を保証し、より良いオブジェクトの品質を生み出します。
広範な実験は、私たちのアプローチが既存の方法よりも優れていることを示しています。

要約(オリジナル)

Generating and inserting new objects into 3D content is a compelling approach for achieving versatile scene recreation. Existing methods, which rely on SDS optimization or single-view inpainting, often struggle to produce high-quality results. To address this, we propose a novel method for object insertion in 3D content represented by Gaussian Splatting. Our approach introduces a multi-view diffusion model, dubbed MVInpainter, which is built upon a pre-trained stable video diffusion model to facilitate view-consistent object inpainting. Within MVInpainter, we incorporate a ControlNet-based conditional injection module to enable controlled and more predictable multi-view generation. After generating the multi-view inpainted results, we further propose a mask-aware 3D reconstruction technique to refine Gaussian Splatting reconstruction from these sparse inpainted views. By leveraging these fabricate techniques, our approach yields diverse results, ensures view-consistent and harmonious insertions, and produces better object quality. Extensive experiments demonstrate that our approach outperforms existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google