Scan2Part: Fine-grained and Hierarchical Part-level Understanding of Real-World 3D Scans

要約

我々は、実世界のノイズの多い屋内RGB-Dスキャンにおいて、物体の個々のパーツをセグメント化する手法であるScan2Partを提案する。この目的のために、我々は屋内シーンにおけるオブジェクトのパーツ階層を変化させ、シーン理解モデルへの影響を探る。具体的には、マルチスケール特徴階層を活用し、3Dスキャンの基礎となるジオメトリの細かいスケールの詳細を捉える、スパースU-Netベースのアーキテクチャを使用する。本手法を学習するために、実世界で初めて部品レベルの詳細な意味ラベルを提供した大規模データセットであるScan2Partを導入する。本データセットでは、2cm$^3$と5cm$^3$の2つの空間解像度で、53,618個のPartNetパーツ、2,477個のShapeNetオブジェクトと1,506個のScanNetシーン間の242,081個の対応付けを提供します。出力として、形状が粗い場合や部分的に欠落している場合でも、オブジェクト毎の細かい部品ラベルを予測することが可能である。

要約(オリジナル)

We propose Scan2Part, a method to segment individual parts of objects in real-world, noisy indoor RGB-D scans. To this end, we vary the part hierarchies of objects in indoor scenes and explore their effect on scene understanding models. Specifically, we use a sparse U-Net-based architecture that captures the fine-scale detail of the underlying 3D scan geometry by leveraging a multi-scale feature hierarchy. In order to train our method, we introduce the Scan2Part dataset, which is the first large-scale collection providing detailed semantic labels at the part level in the real-world setting. In total, we provide 242,081 correspondences between 53,618 PartNet parts of 2,477 ShapeNet objects and 1,506 ScanNet scenes, at two spatial resolutions of 2 cm$^3$ and 5 cm$^3$. As output, we are able to predict fine-grained per-object part labels, even when the geometry is coarse or partially missing.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL