IMFine: 3D Inpainting via Geometry-guided Multi-view Refinement

要約

現在の3Dのインペインティングおよびオブジェクトの削除方法は、主に前面のシーンに限定されており、カメラの向きと軌跡が無制限の多様な「制約のない」シーンに適用されると、大きな課題に直面しています。
このギャップを埋めるために、前面と制約のないシーンの両方で、一貫した視覚品質とコヒーレントな基礎となるジオメトリを備えた塗装された3Dシーンを生成する新しいアプローチを紹介します。
具体的には、幾何学的なプライアーと、事前に訓練された画像の開始モデルに基づいてテスト時間適応を介してトレーニングされたマルチビュー改良ネットワークを組み込んだ堅牢な3Dインペインティングパイプラインを提案します。
さらに、オブジェクトマスクからのターゲットインペインティングマスクを導出するための新しいインペインティングマスク検出技術を開発し、制約のないシーンの処理際のパフォーマンスを高めます。
アプローチの有効性を検証するために、幅広いシーンにまたがる挑戦的で多様なベンチマークを作成します。
包括的な実験は、提案された方法が既存の最先端のアプローチを大幅に上回ることを示しています。

要約(オリジナル)

Current 3D inpainting and object removal methods are largely limited to front-facing scenes, facing substantial challenges when applied to diverse, ‘unconstrained’ scenes where the camera orientation and trajectory are unrestricted. To bridge this gap, we introduce a novel approach that produces inpainted 3D scenes with consistent visual quality and coherent underlying geometry across both front-facing and unconstrained scenes. Specifically, we propose a robust 3D inpainting pipeline that incorporates geometric priors and a multi-view refinement network trained via test-time adaptation, building on a pre-trained image inpainting model. Additionally, we develop a novel inpainting mask detection technique to derive targeted inpainting masks from object masks, boosting the performance in handling unconstrained scenes. To validate the efficacy of our approach, we create a challenging and diverse benchmark that spans a wide range of scenes. Comprehensive experiments demonstrate that our proposed method substantially outperforms existing state-of-the-art approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google