BelHouse3D: A Benchmark Dataset for Assessing Occlusion Robustness in 3D Point Cloud Semantic Segmentation

要約

大規模な 2D データセットは、機械学習の進歩に貢献してきました。
ただし、3D ビジョンのタスクの進歩は比較的遅いです。
この差は主に、利用可能な 3D ベンチマーク データセットが限られていることが原因です。
特に、屋内シーンのセマンティック セグメンテーション用の実世界の点群データセットの作成には、限られた空間内でのデータ収集や、グランド トゥルースを生成するためのポイントごとのラベル付けのコストがかかり、しばしば不正確になるプロセスなど、かなりの課題が伴います。
合成データセットはこれらの課題の一部に対処しますが、多くの場合、現実世界の状況、特に現実の環境から収集された点群で発生するオクルージョンを再現できません。
既存の 3D ベンチマーク データセットは通常、トレーニング データとテスト データが独立して同一に分散される (IID) という前提に基づいてディープ ラーニング モデルを評価します。これは、実世界の点群セグメンテーションにおけるモデルの有用性に影響します。
これらの課題に対処するために、3D 屋内シーンのセマンティック セグメンテーション用に設計された新しい合成点群データセットである BelHouse3D データセットを導入します。
このデータセットは、ベルギーの 32 軒の住宅からの実世界の参照を使用して構築されており、合成データが現実世界の条件と厳密に一致していることが保証されています。
さらに、分布外 (OOD) シナリオをシミュレートするためのデータ オクルージョンを含むテスト セットが含まれており、現実世界の点群で一般的に発生するオクルージョンを反映しています。
OOD 設定を使用して一般的なポイントベースのセマンティック セグメンテーション手法を評価し、ベンチマークを提示します。
BelHouse3D とその OOD 設定は、屋内シーンの 3D 点群セマンティック セグメンテーションの研究を前進させ、より一般化可能なモデルの開発に貴重な洞察を提供すると信じています。

要約(オリジナル)

Large-scale 2D datasets have been instrumental in advancing machine learning; however, progress in 3D vision tasks has been relatively slow. This disparity is largely due to the limited availability of 3D benchmarking datasets. In particular, creating real-world point cloud datasets for indoor scene semantic segmentation presents considerable challenges, including data collection within confined spaces and the costly, often inaccurate process of per-point labeling to generate ground truths. While synthetic datasets address some of these challenges, they often fail to replicate real-world conditions, particularly the occlusions that occur in point clouds collected from real environments. Existing 3D benchmarking datasets typically evaluate deep learning models under the assumption that training and test data are independently and identically distributed (IID), which affects the models’ usability for real-world point cloud segmentation. To address these challenges, we introduce the BelHouse3D dataset, a new synthetic point cloud dataset designed for 3D indoor scene semantic segmentation. This dataset is constructed using real-world references from 32 houses in Belgium, ensuring that the synthetic data closely aligns with real-world conditions. Additionally, we include a test set with data occlusion to simulate out-of-distribution (OOD) scenarios, reflecting the occlusions commonly encountered in real-world point clouds. We evaluate popular point-based semantic segmentation methods using our OOD setting and present a benchmark. We believe that BelHouse3D and its OOD setting will advance research in 3D point cloud semantic segmentation for indoor scenes, providing valuable insights for the development of more generalizable models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google