Generative Object Insertion in Gaussian Splatting with a Multi-View Diffusion Model

要約

新しいオブジェクトを生成して 3D コンテンツに挿入することは、多彩なシーンの再現を実現するための魅力的なアプローチです。
SDS の最適化やシングルビューの修復に依存する既存の方法では、高品質の結果を生み出すのに苦労することがよくあります。
これに対処するために、ガウス スプラッティングによって表される 3D コンテンツへのオブジェクト挿入のための新しい方法を提案します。
私たちのアプローチでは、MVInpainter と呼ばれるマルチビュー拡散モデルを導入しています。これは、ビュー一貫性のあるオブジェクトの修復を容易にするために、事前にトレーニングされた安定したビデオ拡散モデルに基づいて構築されています。
MVInpainter 内には、制御された、より予測可能なマルチビュー生成を可能にする ControlNet ベースの条件付き注入モジュールが組み込まれています。
マルチビューの修復結果を生成した後、これらのまばらな修復ビューからのガウス スプラッティング再構成を改良するためのマスク認識 3D 再構成手法をさらに提案します。
これらの製造技術を活用することで、私たちのアプローチは多様な結果をもたらし、ビューの一貫性と調和のとれた挿入を保証し、より優れたオブジェクト品質を生み出します。
広範な実験により、私たちのアプローチが既存の方法よりも優れていることが実証されました。

要約(オリジナル)

Generating and inserting new objects into 3D content is a compelling approach for achieving versatile scene recreation. Existing methods, which rely on SDS optimization or single-view inpainting, often struggle to produce high-quality results. To address this, we propose a novel method for object insertion in 3D content represented by Gaussian Splatting. Our approach introduces a multi-view diffusion model, dubbed MVInpainter, which is built upon a pre-trained stable video diffusion model to facilitate view-consistent object inpainting. Within MVInpainter, we incorporate a ControlNet-based conditional injection module to enable controlled and more predictable multi-view generation. After generating the multi-view inpainted results, we further propose a mask-aware 3D reconstruction technique to refine Gaussian Splatting reconstruction from these sparse inpainted views. By leveraging these fabricate techniques, our approach yields diverse results, ensures view-consistent and harmonious insertions, and produces better object quality. Extensive experiments demonstrate that our approach outperforms existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google