Efficient Interactive 3D Multi-Object Removal

要約

オブジェクトの削除は、3Dシーンの理解にとって非常に重要であり、コンテンツのフィルタリングとシーン編集のアプリケーションに不可欠です。
現在の主流の方法は、主に個々のオブジェクトの削除に焦点を当てており、特定のカテゴリの領域全体またはすべてのオブジェクトを排除することに特化したいくつかの方法があります。
しかし、彼らは、ユーザーが定義されたゾーン内のオブジェクトの調整された切除と保存を要求する現実世界のアプリケーションにとって不十分な粒度と柔軟性の課題に直面しています。
さらに、現在の方法のほとんどは、マルチビューのインペインティングに対処する際に種類のプライアーを必要とします。これは時間がかかります。
これらの制限に対処するために、3Dマルチオブジェクト除去のための効率的でユーザーフレンドリーなパイプラインを提案し、ユーザーが領域を柔軟に選択し、削除または保存のオブジェクトを定義できるようにします。
具体的には、複数のビューでオブジェクトの一貫性と対応を確保するために、ホモグラフィベースのワーピングとセグメンテーションのための高い自信アンカーポイントを統合する新しいマスクマッチングと改良モジュールを提案します。
IOUのジョイント形状コンテキスト距離損失を活用することにより、ゆがんだマスクの精度を高め、その後の入力プロセスを改善します。
3Dマルチオブジェクト除去の現在の未熟性を考慮すると、発達のボイドを橋渡しするための新しい評価データセットを提供します。
実験結果は、この方法が計算コストを大幅に削減し、同等の再構成品質を維持しながら、最先端の方法よりも80％以上速く処理速度を達成することを示しています。

要約(オリジナル)

Object removal is of great significance to 3D scene understanding, essential for applications in content filtering and scene editing. Current mainstream methods primarily focus on removing individual objects, with a few methods dedicated to eliminating an entire area or all objects of a certain category. They however confront the challenge of insufficient granularity and flexibility for real-world applications, where users demand tailored excision and preservation of objects within defined zones. In addition, most of the current methods require kinds of priors when addressing multi-view inpainting, which is time-consuming. To address these limitations, we propose an efficient and user-friendly pipeline for 3D multi-object removal, enabling users to flexibly select areas and define objects for removal or preservation. Concretely, to ensure object consistency and correspondence across multiple views, we propose a novel mask matching and refinement module, which integrates homography-based warping with high-confidence anchor points for segmentation. By leveraging the IoU joint shape context distance loss, we enhance the accuracy of warped masks and improve subsequent inpainting processes. Considering the current immaturity of 3D multi-object removal, we provide a new evaluation dataset to bridge the developmental void. Experimental results demonstrate that our method significantly reduces computational costs, achieving processing speeds more than 80% faster than state-of-the-art methods while maintaining equivalent or higher reconstruction quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google