Multi-modality Affinity Inference for Weakly Supervised 3D Semantic Segmentation

要約

3D 点群セマンティック セグメンテーションには幅広い用途があります。
最近、シーンレベルのラベルを活用することで、高価で面倒な手動のアノテーションプロセスを軽減することを目的とした、弱教師付き点群セグメンテーション手法が提案されています。
ただし、これらの方法では、RGB-D スキャンに存在する豊富な幾何学的情報 (形状やスケールなど) や外観情報 (色やテクスチャなど) が効果的に活用されていません。
さらに、現在のアプローチは、弱いシーンレベルのラベルから学習するために重要である、特徴抽出ネットワークから推測できるポイントアフィニティを完全に活用できていません。
さらに、以前の研究では、弱く監視された 3D セマンティック セグメンテーションにおける点群データのロングテール分布の悪影響が見落とされていました。
この目的を達成するために、本論文では、新しく導入されたマルチモダリティ点類似性推論モジュールを使用した、シンプルで効果的なシーンレベルの弱教師付き点群セグメンテーション方法を提案します。
この論文で提案されている点類似性は、複数のモダリティ (点群や RGB など) からの特徴によって特徴付けられており、分類器の重みを正規化することでさらに洗練され、カテゴリの事前分布を必要とせずにロングテール分布の悪影響を軽減します。
分布。
ScanNet および S3DIS ベンチマークに関する広範な実験により、提案手法の有効性が検証され、最先端の手法よりも mIoU が約 4% ～ 約 6% 優れています。
コードは https://github.com/Sunny599/AAAI24-3DWSSG-MMA でリリースされています。

要約(オリジナル)

3D point cloud semantic segmentation has a wide range of applications. Recently, weakly supervised point cloud segmentation methods have been proposed, aiming to alleviate the expensive and laborious manual annotation process by leveraging scene-level labels. However, these methods have not effectively exploited the rich geometric information (such as shape and scale) and appearance information (such as color and texture) present in RGB-D scans. Furthermore, current approaches fail to fully leverage the point affinity that can be inferred from the feature extraction network, which is crucial for learning from weak scene-level labels. Additionally, previous work overlooks the detrimental effects of the long-tailed distribution of point cloud data in weakly supervised 3D semantic segmentation. To this end, this paper proposes a simple yet effective scene-level weakly supervised point cloud segmentation method with a newly introduced multi-modality point affinity inference module. The point affinity proposed in this paper is characterized by features from multiple modalities (e.g., point cloud and RGB), and is further refined by normalizing the classifier weights to alleviate the detrimental effects of long-tailed distribution without the need of the prior of category distribution. Extensive experiments on the ScanNet and S3DIS benchmarks verify the effectiveness of our proposed method, which outperforms the state-of-the-art by ~4% to ~6% mIoU. Codes are released at https://github.com/Sunny599/AAAI24-3DWSSG-MMA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google