Exploring Scene Affinity for Semi-Supervised LiDAR Semantic Segmentation

要約

このペーパーでは、運転シーンにおける半監視されたLidarセマンティックセグメンテーションのシーンアフィニティ（AISCENE）、すなわち、シーン内の一貫性とシーン間相関について説明します。
教師と学生のトレーニングを採用するAisceneは、教師ネットワークを採用して、非標識データから擬似標識シーンを生成し、生徒ネットワークの学習を監督します。
前方伝播のための擬似標識シーンのすべてのポイントを含むほとんどの方法とは異なり、バックプロパゲーションのための擬似ラベルポイントのみであるAisceneは、擬似ラベルなしでポイントを削除し、シーン内の前方と後方の伝播の両方の一貫性を確保します。
この単純なポイント消去戦略は、監視されていない、意味的に曖昧なポイント（バックプロパゲーションで除外）が擬似標識ポイントの学習に影響を与えることを効果的に防止します。
さらに、AISCENEにはパッチベースのデータ増強が組み込まれており、シーンレベルとインスタンスレベルの両方で複数のシーンを混合しています。
通常、2つのシーン間でシーンレベルの混合を実行する既存の増強技術と比較して、この方法は、ラベル付き（または擬似標識）シーンのセマンティック多様性を高め、それによりセグメンテーションモデルの半監視パフォーマンスを改善します。
実験は、AISCENEが4つの設定にわたって2つの一般的なベンチマークで以前の方法を上回り、最も困難な1％のラベル付きデータで1.9％と2.1％の顕著な改善を達成することを示しています。

要約(オリジナル)

This paper explores scene affinity (AIScene), namely intra-scene consistency and inter-scene correlation, for semi-supervised LiDAR semantic segmentation in driving scenes. Adopting teacher-student training, AIScene employs a teacher network to generate pseudo-labeled scenes from unlabeled data, which then supervise the student network’s learning. Unlike most methods that include all points in pseudo-labeled scenes for forward propagation but only pseudo-labeled points for backpropagation, AIScene removes points without pseudo-labels, ensuring consistency in both forward and backward propagation within the scene. This simple point erasure strategy effectively prevents unsupervised, semantically ambiguous points (excluded in backpropagation) from affecting the learning of pseudo-labeled points. Moreover, AIScene incorporates patch-based data augmentation, mixing multiple scenes at both scene and instance levels. Compared to existing augmentation techniques that typically perform scene-level mixing between two scenes, our method enhances the semantic diversity of labeled (or pseudo-labeled) scenes, thereby improving the semi-supervised performance of segmentation models. Experiments show that AIScene outperforms previous methods on two popular benchmarks across four settings, achieving notable improvements of 1.9% and 2.1% in the most challenging 1% labeled data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google