Clutter Detection and Removal in 3D Scenes with View-Consistent Inpainting

要約

タイトル：3Dシーン内のクラッター検出と除去におけるビューに一貫性のあるインペインティング

要約：

– クラッターを除去することは、プライバシーに関するコンテンツフィルタリングからデータ拡張まで、多数のアプリケーションで必要なものである。
– 自動的なシステムを提案し、3Dシーンからクラッターを除去し、一貫したジオメトリとテクスチャを絵画にします。
– 3Dのセグメンテーションと3Dのインペインティングという2つの主要なコンポーネントについて、それぞれのための技術を提案する。
– 一般的に研究されているオブジェクトのカテゴリでは、3Dシーンクラッター（よく動くオブジェクト）の定義がうまく捉えられないため、クラッター注釈の不足に対処するために、ノイズの多い細かいラベルをグループ化し、仮想的なレンダリングを利用し、インスタンスレベルの面積感度の損失を課す。
– クラッターが除去された後、インペイントされたRGB-D画像をマージして、結果の穴にジオメトリとテクスチャをインペイントする必要があります。これには、投票と剪定の新しい戦略が必要で、メッシュ再構築のために個別にインペインティングされた画像間で多視点一貫性を保証します。
– ScanNetとMatterportデータセット上の実験では、我々の方法が、クラッターセグメンテーションと3Dインペインティングの両方で、視覚的にも数量的にもベースラインを上回ることを示した。

要約(オリジナル)

Removing clutter from scenes is essential in many applications, ranging from privacy-concerned content filtering to data augmentation. In this work, we present an automatic system that removes clutter from 3D scenes and inpaints with coherent geometry and texture. We propose techniques for its two key components: 3D segmentation from shared properties and 3D inpainting, both of which are important porblems. The definition of 3D scene clutter (frequently-moving objects) is not well captured by commonly-studied object categories in computer vision. To tackle the lack of well-defined clutter annotations, we group noisy fine-grained labels, leverage virtual rendering, and impose an instance-level area-sensitive loss. Once clutter is removed, we inpaint geometry and texture in the resulting holes by merging inpainted RGB-D images. This requires novel voting and pruning strategies that guarantee multi-view consistency across individually inpainted images for mesh reconstruction. Experiments on ScanNet and Matterport dataset show that our method outperforms baselines for clutter segmentation and 3D inpainting, both visually and quantitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI