Number-Adaptive Prototype Learning for 3D Point Cloud Semantic Segmentation

要約

3D ポイント クラウドのセマンティック セグメンテーションは、3D シーンを理解するための基本的なタスクの 1 つであり、メタバース アプリケーションで広く使用されています。
最近の多くの 3D セマンティック セグメンテーション メソッドは、セマンティック クラスごとに 1 つのプロトタイプ (分類器の重み) を学習し、最も近いプロトタイプに従って 3D ポイントを分類します。
ただし、クラスごとに 1 つのプロトタイプのみを学習すると、モデルがクラス内の高分散パターンを説明する能力が制限されます。
クラスごとに 1 つのプロトタイプを学習する代わりに、このホワイト ペーパーでは、適応可能な数のプロトタイプを使用して、セマンティック クラス内のさまざまなポイント パターンを動的に記述することを提案します。
ビジョン トランスフォーマーの強力な機能を使用して、ポイント クラウド セマンティック セグメンテーション用の Number-Adaptive Prototype Learning (NAPL) モデルを設計します。
NAPLモデルをトレーニングするために、シンプルで効果的なプロトタイプドロップアウトトレーニング戦略を提案します。これにより、モデルが各クラスのプロトタイプを適応的に生成できるようになります。
SemanticKITTI データセットの実験結果は、ポイントごとの分類パラダイムに基づくベースライン モデルに対して、この方法が 2.3% の mIoU の改善を達成することを示しています。

要約(オリジナル)

3D point cloud semantic segmentation is one of the fundamental tasks for 3D scene understanding and has been widely used in the metaverse applications. Many recent 3D semantic segmentation methods learn a single prototype (classifier weights) for each semantic class, and classify 3D points according to their nearest prototype. However, learning only one prototype for each class limits the model’s ability to describe the high variance patterns within a class. Instead of learning a single prototype for each class, in this paper, we propose to use an adaptive number of prototypes to dynamically describe the different point patterns within a semantic class. With the powerful capability of vision transformer, we design a Number-Adaptive Prototype Learning (NAPL) model for point cloud semantic segmentation. To train our NAPL model, we propose a simple yet effective prototype dropout training strategy, which enables our model to adaptively produce prototypes for each class. The experimental results on SemanticKITTI dataset demonstrate that our method achieves 2.3% mIoU improvement over the baseline model based on the point-wise classification paradigm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google