Rethinking Data Augmentation for Robust LiDAR Semantic Segmentation in Adverse Weather

要約

既存の LiDAR セマンティック セグメンテーション手法は、悪天候時のパフォーマンス低下に悩まされることがよくあります。
これまでの研究では、トレーニング中に悪天候をシミュレートしたり、普遍的なデータ拡張を採用したりすることで、この問題に対処してきました。
ただし、これらの方法には、悪天候が LiDAR セマンティック セグメンテーションのパフォーマンスにどのような悪影響を与えるかについての詳細な分析と理解が不足しています。
この問題を契機として、私たちは悪天候の主な要因を特定し、性能低下の主な原因を特定するためにおもちゃの実験を実施しました。(1) 空気中の霧や水滴によって引き起こされる屈折による幾何学的摂動、および (2) 空気中の霧や水滴による点降下
エネルギー吸収と閉塞。
これらの調査結果に基づいて、新しい戦略的なデータ拡張手法を提案します。
まず、ランダムな範囲の深さ (または角度) でポイントをジッタリングして、幾何学的摂動を模倣する選択的ジッタリング (SJ) を導入しました。
さらに、ディープ Q ラーニング ネットワークを使用して脆弱な消去パターンを学習し、悪天候によるポイント ドロップ現象を近似するための学習可能なポイント ドロップ (LPD) を開発しました。
これらの技術は、正確な気象シミュレーションを行わずに、データ中心の分析によって特定された脆弱な状況にさらすことで、LiDAR セマンティック セグメンテーション モデルを強化します。
実験結果により、悪天候に対する堅牢性を高めるための、提案されたデータ拡張方法の適切性が確認されました。
私たちの方法は、SemanticKITTI-to-SemanticSTF ベンチマークで驚くべき 39.5 mIoU を達成し、以前の最先端技術を 5.4%p 以上上回り、以前に達成された方法と比較してベースラインの 3 倍の改善を達成しました。

要約(オリジナル)

Existing LiDAR semantic segmentation methods often struggle with performance declines in adverse weather conditions. Previous research has addressed this issue by simulating adverse weather or employing universal data augmentation during training. However, these methods lack a detailed analysis and understanding of how adverse weather negatively affects LiDAR semantic segmentation performance. Motivated by this issue, we identified key factors of adverse weather and conducted a toy experiment to pinpoint the main causes of performance degradation: (1) Geometric perturbation due to refraction caused by fog or droplets in the air and (2) Point drop due to energy absorption and occlusions. Based on these findings, we propose new strategic data augmentation techniques. First, we introduced a Selective Jittering (SJ) that jitters points in the random range of depth (or angle) to mimic geometric perturbation. Additionally, we developed a Learnable Point Drop (LPD) to learn vulnerable erase patterns with Deep Q-Learning Network to approximate the point drop phenomenon from adverse weather conditions. Without precise weather simulation, these techniques strengthen the LiDAR semantic segmentation model by exposing it to vulnerable conditions identified by our data-centric analysis. Experimental results confirmed the suitability of the proposed data augmentation methods for enhancing robustness against adverse weather conditions. Our method attains a remarkable 39.5 mIoU on the SemanticKITTI-to-SemanticSTF benchmark, surpassing the previous state-of-the-art by over 5.4%p, tripling the improvement over the baseline compared to previous methods achieved.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google