Learning from Spatio-temporal Correlation for Semi-Supervised LiDAR Semantic Segmentation

要約

特に低予算のシナリオにおける半教師あり LiDAR セグメンテーション (SSLS) 問題の課題に取り組みます。
低予算の SSLS における 2 つの主な問題は、ラベルのないデータに対する低品質の疑似ラベルと、グラウンド トゥルースと疑似ラベルの間の大幅な不均衡によるパフォーマンスの低下です。
この不均衡はトレーニングの悪循環につながります。
これらの課題を克服するために、時間的に隣接する LiDAR スキャン間の実質的な重複を認識することにより、時空間事前分布を活用します。
我々は、隣接するラベル付きデータとの意味的一貫性を利用して、ラベルなしデータに対して高精度の擬似ラベルを生成する、近接ベースのラベル推定を提案します。
さらに、最も近いラベルのないスキャンから擬似ラベルを段階的に拡張することでこの方法を強化し、動的クラスに関連するエラーを大幅に減らすのに役立ちます。
さらに、データの不均衡によるパフォーマンスの低下を軽減するために、デュアルブランチ構造を採用しています。
実験結果では、低予算設定 (つまり 5% 以下) では顕著なパフォーマンスが示され、通常の予算設定 (つまり 5 ～ 50%) では大幅な改善が見られます。
最後に、私たちの手法は、半教師あり LiDAR セグメンテーションにおける SemanticKITTI と nuScenes で新しい最先端の結果を達成しました。
わずか 5% のラベル付きデータで、完全に監視された対応物と比較して競争力のある結果が得られます。
さらに、nuScenes 上のラベル付きデータのわずか 20% (76.0%) を使用して、100% ラベル付きデータ (75.2%) での以前の最先端のパフォーマンスを上回っています。
コードは https://github.com/halbielee/PLE で入手できます。

要約(オリジナル)

We address the challenges of the semi-supervised LiDAR segmentation (SSLS) problem, particularly in low-budget scenarios. The two main issues in low-budget SSLS are the poor-quality pseudo-labels for unlabeled data, and the performance drops due to the significant imbalance between ground-truth and pseudo-labels. This imbalance leads to a vicious training cycle. To overcome these challenges, we leverage the spatio-temporal prior by recognizing the substantial overlap between temporally adjacent LiDAR scans. We propose a proximity-based label estimation, which generates highly accurate pseudo-labels for unlabeled data by utilizing semantic consistency with adjacent labeled data. Additionally, we enhance this method by progressively expanding the pseudo-labels from the nearest unlabeled scans, which helps significantly reduce errors linked to dynamic classes. Additionally, we employ a dual-branch structure to mitigate performance degradation caused by data imbalance. Experimental results demonstrate remarkable performance in low-budget settings (i.e., <= 5%) and meaningful improvements in normal budget settings (i.e., 5 - 50%). Finally, our method has achieved new state-of-the-art results on SemanticKITTI and nuScenes in semi-supervised LiDAR segmentation. With only 5% labeled data, it offers competitive results against fully-supervised counterparts. Moreover, it surpasses the performance of the previous state-of-the-art at 100% labeled data (75.2%) using only 20% of labeled data (76.0%) on nuScenes. The code is available on https://github.com/halbielee/PLE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google