RefFusion: Reference Adapted Diffusion Models for 3D Scene Inpainting

要約

ニューラル再構築アプローチは 3D シーンの好ましい表現として急速に台頭してきていますが、編集可能性が限られていることが依然として課題となっています。
この研究では、3D シーンの修復、つまり再構築されたシーンの一部を目的のコンテンツに一貫して置き換えるタスクのアプローチを提案します。
欠落したコンテンツをおそらく置き換えるソリューションが多数存在するため、シーンの修復は本質的に不適切なタスクです。
したがって、優れた修復方法は、高品質の合成を可能にするだけでなく、高度な制御も可能にする必要があります。
この観察に基づいて、私たちはペイントされたコンテンツを明示的に制御できるようにすることに焦点を当て、この目標を達成するための効率的な手段として参照イメージを活用します。
具体的には、与えられた参照ビューに対する画像修復拡散モデルのマルチスケール パーソナライゼーションに基づく新しい 3D 修復手法である RefFusion を紹介します。
パーソナライゼーションは、事前の分布をターゲット シーンに効果的に適応させるため、スコア抽出目標の分散が低くなり、その結果、詳細が大幅に鮮明になります。
私たちのフレームワークは、高い制御性を維持しながら、オブジェクト除去に関して最先端の結果を実現します。
さらに、オブジェクトの挿入、シーンのアウトペイント、スパース ビューの再構成など、他の下流タスクに関する定式化の一般性を示します。

要約(オリジナル)

Neural reconstruction approaches are rapidly emerging as the preferred representation for 3D scenes, but their limited editability is still posing a challenge. In this work, we propose an approach for 3D scene inpainting — the task of coherently replacing parts of the reconstructed scene with desired content. Scene inpainting is an inherently ill-posed task as there exist many solutions that plausibly replace the missing content. A good inpainting method should therefore not only enable high-quality synthesis but also a high degree of control. Based on this observation, we focus on enabling explicit control over the inpainted content and leverage a reference image as an efficient means to achieve this goal. Specifically, we introduce RefFusion, a novel 3D inpainting method based on a multi-scale personalization of an image inpainting diffusion model to the given reference view. The personalization effectively adapts the prior distribution to the target scene, resulting in a lower variance of score distillation objective and hence significantly sharper details. Our framework achieves state-of-the-art results for object removal while maintaining high controllability. We further demonstrate the generality of our formulation on other downstream tasks such as object insertion, scene outpainting, and sparse view reconstruction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google