A Review of Panoptic Segmentation for Mobile Mapping Point Clouds

要約

タイトル – モバイルマッピングポイントクラウドに対するパノプティックセグメンテーションのレビュー
要約 – 3Dポイントクラウドのパノプティックセグメンテーションとは、(i)各点を意味的なクラスに割り振り、(ii)各クラス内の点を物体インスタンスに分離するという組み合わせたタスクである。深い3Dニューラルネットワークの登場による意味的セグメンテーションの急速な進歩に基づいて、総合的な3Dシーン理解に関する関心が高まってきている。しかし、現在までに、屋外モバイルマッピングデータのパノプティックセグメンテーションに関するほぼ無い研究があり、系統的な比較もない。この論文はそのギャップを埋めることを試みる。パノプティックセグメンテーションパイプラインを組み立てるために必要な構築ブロックと関連文献についてレビューし、また、街頭マッピングの文脈でパノプティックセグメンテーションの状態を総合的に評価するためのモジュール式パイプラインが設置される。副産物として、インスタンスラベルを含むNPM3Dデータセットを拡張して、そのタスクの最初の公開データセットも提供する。

要点：

– パノプティックセグメンテーションとは、意味的なクラスの各点を割り当て、各クラス内の点を対応するオブジェクトインスタンスに分離する3Dポイントクラウドタスクである。
– 深い3Dニューラルネットワークの進歩により、3Dシーン理解に関するパノプティックセグメンテーションの関心が高まっている。
– しかし、屋外モバイルマッピングデータのパノプティックセグメンテーションに対する研究は非常に限られており、比較もない。
– この論文は、パノプティックセグメンテーションパイプラインの構築に必要な構築ブロックと関連文献についてレビューし、街頭マッピングにおけるパノプティックセグメンテーションの状態を総合的に評価するためのモジュール式パイプラインを構築する。
– また、この論文はインスタンスラベルを含むNPM3Dデータセットを拡張し、そのタスクの最初の公開データセットも提供する。

要約(オリジナル)

3D point cloud panoptic segmentation is the combined task to (i) assign each point to a semantic class and (ii) separate the points in each class into object instances. Recently there has been an increased interest in such comprehensive 3D scene understanding, building on the rapid advances of semantic segmentation due to the advent of deep 3D neural networks. Yet, to date there is very little work about panoptic segmentation of outdoor mobile-mapping data, and no systematic comparisons. The present paper tries to close that gap. It reviews the building blocks needed to assemble a panoptic segmentation pipeline and the related literature. Moreover, a modular pipeline is set up to perform comprehensive, systematic experiments to assess the state of panoptic segmentation in the context of street mapping. As a byproduct, we also provide the first public dataset for that task, by extending the NPM3D dataset to include instance labels.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI