Clutter Detection and Removal in 3D Scenes with View-Consistent Inpainting

要約

シーンから乱雑さを除去することは、プライバシーに配慮したコンテンツフィルタリングからデータ拡張に至るまで、多くのアプリケーションにおいて不可欠である。この研究では、3Dシーンから乱雑さを除去し、首尾一貫したジオメトリとテクスチャでインペイントする自動システムを紹介する。その2つの主要な構成要素に対する技術を提案する：共有プロパティからの3Dセグメンテーションと3Dインペインティングである。3Dシーンのクラッタ（頻繁に動く物体）の定義は、コンピュータビジョンにおいて一般的に研究されている物体カテゴリではうまく捉えられない。よく定義されたクラッタ注釈の欠如に対処するため、我々はノイズの多い細かいラベルをグループ化し、仮想レンダリングを活用し、インスタンスレベルの面積に応じた損失を課す。一旦クラッタが除去されると、インペイントされたRGB-D画像をマージすることにより、結果として生じる穴の幾何学とテクスチャをインペイントする。これには、メッシュ再構成のために、個別にインペイントされた画像間のマルチビュー一貫性を保証する、新しい投票と刈り込み戦略が必要である。ScanNetとMatterportデータセットを用いた実験により、我々の手法がクラッタセグメンテーションと3Dインペインティングにおいて、視覚的にも定量的にもベースラインを上回ることが示された。

要約(オリジナル)

Removing clutter from scenes is essential in many applications, ranging from privacy-concerned content filtering to data augmentation. In this work, we present an automatic system that removes clutter from 3D scenes and inpaints with coherent geometry and texture. We propose techniques for its two key components: 3D segmentation from shared properties and 3D inpainting, both of which are important problems. The definition of 3D scene clutter (frequently-moving objects) is not well captured by commonly-studied object categories in computer vision. To tackle the lack of well-defined clutter annotations, we group noisy fine-grained labels, leverage virtual rendering, and impose an instance-level area-sensitive loss. Once clutter is removed, we inpaint geometry and texture in the resulting holes by merging inpainted RGB-D images. This requires novel voting and pruning strategies that guarantee multi-view consistency across individually inpainted images for mesh reconstruction. Experiments on ScanNet and Matterport dataset show that our method outperforms baselines for clutter segmentation and 3D inpainting, both visually and quantitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL