Scalable 3D Panoptic Segmentation As Superpoint Graph Clustering

要約

このタスクをスケーラブルなグラフ クラスタリング問題として再定義することにより、大規模な 3D 点群のパノプティック セグメンテーションのための非常に効率的な方法を紹介します。
このアプローチは、ローカルの補助タスクのみを使用してトレーニングできるため、トレーニング中にリソースを大量に消費するインスタンスのマッチング手順が不要になります。
さらに、私たちの定式化はスーパーポイントパラダイムに簡単に適応でき、その効率がさらに向上します。
これにより、モデルは数百万のポイントと数千のオブジェクトを含むシーンを 1 回の推論で処理できるようになります。
SuperCluster と呼ばれる私たちの方法は、2 つの屋内スキャン データセットに対して新しい最先端のパノプティック セグメンテーション パフォーマンスを達成します。S3DIS Area~5 では $50.1$ PQ ($+7.8$)、および $58.7$ PQ ($+25.2$)
ScanNetV2の場合。
また、KITTI-360 と DALES という 2 つの大規模モバイル マッピング ベンチマークについても、最初の最先端技術を確立しました。
パラメータがわずか $209$k であるため、私たちのモデルは競合する最も有力な方法よりも $30$ 倍以上小さく、最大 $15$ 倍高速にトレーニングできます。
私たちのコードと事前トレーニングされたモデルは https://github.com/drprojects/superpoint_transformer で入手できます。

要約(オリジナル)

We introduce a highly efficient method for panoptic segmentation of large 3D point clouds by redefining this task as a scalable graph clustering problem. This approach can be trained using only local auxiliary tasks, thereby eliminating the resource-intensive instance-matching step during training. Moreover, our formulation can easily be adapted to the superpoint paradigm, further increasing its efficiency. This allows our model to process scenes with millions of points and thousands of objects in a single inference. Our method, called SuperCluster, achieves a new state-of-the-art panoptic segmentation performance for two indoor scanning datasets: $50.1$ PQ ($+7.8$) for S3DIS Area~5, and $58.7$ PQ ($+25.2$) for ScanNetV2. We also set the first state-of-the-art for two large-scale mobile mapping benchmarks: KITTI-360 and DALES. With only $209$k parameters, our model is over $30$ times smaller than the best-competing method and trains up to $15$ times faster. Our code and pretrained models are available at https://github.com/drprojects/superpoint_transformer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google