3DSES: an indoor Lidar point cloud segmentation dataset with real and pseudo-labels from a 3D model

要約

屋内ポイントクラウドのセマンティックセグメンテーションでは、ロボット工学、ナビゲーション、建物情報モデリング（BIM）のためのデジタルツインの作成においてさまざまなアプリケーションが見つかりました。
ただし、ラベル付きの屋内ポイント雲の既存のデータセットのほとんどは、写真測量によって取得されています。
対照的に、陸生レーザースキャン（TLS）は、密集したサブセンチメートルポイント雲を取得することができ、測量士の標準になりました。
エンジニアリングスクールの427 m 2をカバーする屋内密なTLS着色点雲の新しいデータセットである3DSES（ESGTポイント雲の3Dセグメンテーション）を提示します。
3DSESには、建物の完全な3D CADモデルとともに、ポイントレベルで注釈が付けられたセマンティックラベル：セマンティックラベルがあります。
既存の3D CADモデルを使用して、屋内ポイント雲の自動ラベル付けのためのモデル間アルゴリズムを紹介します。
3DSESには、さまざまなセマンティックおよび幾何学的な複雑さの3つのバリアントがあります。
モデルからクラウドへのアラインメントが、\> 95％の精度でポイントクラウドに擬似ラベルを生成し、手動ラベルと比較して大幅な時間節約で深いモデルをトレーニングできることを示しています。
3DSEの最初のベースラインは、光や安全性のユーティリティなど、BIMに関連するオブジェクトをセグメント化する際に既存のモデルで遭遇する困難を示しています。
擬似ラベルとライダー強度を活用することでセグメンテーションの精度を改善できることを示しています。これは、現在のデータセットではめったに考慮されない情報です。
コードとデータはオープンソースになります。

要約(オリジナル)

Semantic segmentation of indoor point clouds has found various applications in the creation of digital twins for robotics, navigation and building information modeling (BIM). However, most existing datasets of labeled indoor point clouds have been acquired by photogrammetry. In contrast, Terrestrial Laser Scanning (TLS) can acquire dense sub-centimeter point clouds and has become the standard for surveyors. We present 3DSES (3D Segmentation of ESGT point clouds), a new dataset of indoor dense TLS colorized point clouds covering 427 m 2 of an engineering school. 3DSES has a unique double annotation format: semantic labels annotated at the point level alongside a full 3D CAD model of the building. We introduce a model-to-cloud algorithm for automated labeling of indoor point clouds using an existing 3D CAD model. 3DSES has 3 variants of various semantic and geometrical complexities. We show that our model-to-cloud alignment can produce pseudo-labels on our point clouds with a \> 95% accuracy, allowing us to train deep models with significant time savings compared to manual labeling. First baselines on 3DSES show the difficulties encountered by existing models when segmenting objects relevant to BIM, such as light and safety utilities. We show that segmentation accuracy can be improved by leveraging pseudo-labels and Lidar intensity, an information rarely considered in current datasets. Code and data will be open sourced.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google