InFusion: Inpainting 3D Gaussians via Learning Depth Completion from Diffusion Prior

要約

3D ガウスは、新しいビュー合成の効率的な表現として最近登場しました。
この研究では、不完全な 3D ガウス セットを視覚的に調和のとれたレンダリングのための追加ポイントで補うことを目的とした修復タスクに特に焦点を当てて編集可能性を研究しています。
2D 修復と比較して、3D ガウスの修復の核心は、導入された点のレンダリング関連のプロパティを把握することであり、その最適化は初期の 3D 位置から大きく恩恵を受けます。
この目的を達成するために、観察された画像に基づいて深度マップを直接復元することを学習する、画像条件付き深度完了モデルを使用してポイントの初期化をガイドすることを提案します。
このような設計により、モデルは元の深度に合わせたスケールで深度値を埋めることができ、事前の大規模拡散による強力な一般化可能性も利用できます。
より正確な深度補完のおかげで、InFusion と呼ばれる私たちのアプローチは、さまざまな複雑なシナリオの下で十分に優れた忠実性と効率性で既存の代替手段を上回ります。
さらに、ユーザー固有のテクスチャや新しいオブジェクトの挿入による修復など、いくつかの実際的なアプリケーションを使用して InFusion の有効性を実証します。

要約(オリジナル)

3D Gaussians have recently emerged as an efficient representation for novel view synthesis. This work studies its editability with a particular focus on the inpainting task, which aims to supplement an incomplete set of 3D Gaussians with additional points for visually harmonious rendering. Compared to 2D inpainting, the crux of inpainting 3D Gaussians is to figure out the rendering-relevant properties of the introduced points, whose optimization largely benefits from their initial 3D positions. To this end, we propose to guide the point initialization with an image-conditioned depth completion model, which learns to directly restore the depth map based on the observed image. Such a design allows our model to fill in depth values at an aligned scale with the original depth, and also to harness strong generalizability from largescale diffusion prior. Thanks to the more accurate depth completion, our approach, dubbed InFusion, surpasses existing alternatives with sufficiently better fidelity and efficiency under various complex scenarios. We further demonstrate the effectiveness of InFusion with several practical applications, such as inpainting with user-specific texture or with novel object insertion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google