InstaInpaint: Instant 3D-Scene Inpainting with Masked Large Reconstruction Model

要約

3Dシーンの再構築における最近の進歩により、仮想現実と拡張現実でのリアルタイムの視聴が可能になります。
オブジェクトの移動や編集など、より良い没入感のためにインタラクティブな操作をサポートするために、3Dシーンの入力メソッドが変更されたジオメトリを修復または完了するために提案されています。
ただし、現在のアプローチは、長期にわたる計算集中的な最適化に依存しているため、リアルタイムまたはオンラインのアプリケーションでは実用的ではありません。
InstainPaintを提案します。これは、0.4秒以内に2Dのインペインティング提案から3Dシーンのインペインティングを生成する参照ベースのフィードフォワードフレームワークです。
大規模なデータセットでカスタム大規模再構成モデ​​ル（LRM）のトレーニングを可能にするために、自己監視されたマスクされたマスク導入戦略を開発します。
広範な実験を通じて、一般化、テクスチャの一貫性、幾何学的正しさを改善するいくつかの重要な設計を分析して特定します。
InstainPaintは、2つの標準ベンチマークで最先端のパフォーマンスを維持しながら、以前の方法から1000倍のスピードアップを実現します。
さらに、InstainPaintは、オブジェクトの挿入やマルチレジョンインペインティングなどの柔軟なダウンストリームアプリケーションによく一般化することを示しています。
その他のビデオ結果は、プロジェクトページのページで入手できます：https：//dhmbb2.github.io/instainpaint_page/。

要約(オリジナル)

Recent advances in 3D scene reconstruction enable real-time viewing in virtual and augmented reality. To support interactive operations for better immersiveness, such as moving or editing objects, 3D scene inpainting methods are proposed to repair or complete the altered geometry. However, current approaches rely on lengthy and computationally intensive optimization, making them impractical for real-time or online applications. We propose InstaInpaint, a reference-based feed-forward framework that produces 3D-scene inpainting from a 2D inpainting proposal within 0.4 seconds. We develop a self-supervised masked-finetuning strategy to enable training of our custom large reconstruction model (LRM) on the large-scale dataset. Through extensive experiments, we analyze and identify several key designs that improve generalization, textural consistency, and geometric correctness. InstaInpaint achieves a 1000x speed-up from prior methods while maintaining a state-of-the-art performance across two standard benchmarks. Moreover, we show that InstaInpaint generalizes well to flexible downstream applications such as object insertion and multi-region inpainting. More video results are available at our project page: https://dhmbb2.github.io/InstaInpaint_page/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google