Benchmarking the Robustness of LiDAR Semantic Segmentation Models

要約

自動運転などの安全性が重要なアプリケーションに LiDAR セマンティック セグメンテーション モデルを使用する場合、広範囲の LiDAR 破損に対する堅牢性を理解し、改善することが不可欠です。
この論文では、さまざまな破損の下でのLiDARセマンティックセグメンテーションモデルの堅牢性を包括的に分析することを目的としています。
現在のアプローチの堅牢性と一般化可能性を厳密に評価するために、SemanticKITTI-C と呼ばれる新しいベンチマークを提案します。これは、悪天候、測定ノイズ、クロスデバイスの不一致という 3 つのグループで 16 のドメイン外 LiDAR 破損を特徴とします。
次に、11 の LiDAR セマンティック セグメンテーション モデル、特にさまざまな入力表現 (点群、ボクセル、投影画像など)、ネットワーク アーキテクチャ、およびトレーニング スキームにまたがるモデルを体系的に調査します。
この調査を通じて、2 つの洞察が得られました。1) 入力表現がロバスト性において重要な役割を果たすことがわかりました。
具体的には、特定の破損の下で、さまざまな表現がさまざまに機能します。
2) LiDAR のセマンティック セグメンテーションに関する最先端の方法は、クリーンなデータに対して有望な結果を達成しますが、ノイズの多いデータを処理する場合には堅牢性が低下します。
最後に、上記の観察に基づいて、堅牢な LiDAR セグメンテーション モデル (RLSeg) を設計します。これは、シンプルだが効果的な変更で堅牢性を大幅に向上させます。
私たちのベンチマーク、包括的な分析、および観測により、安全性が重要なアプリケーションのための堅牢な LiDAR セマンティック セグメンテーションの将来の研究が促進されることが期待されます。

要約(オリジナル)

When using LiDAR semantic segmentation models for safety-critical applications such as autonomous driving, it is essential to understand and improve their robustness with respect to a large range of LiDAR corruptions. In this paper, we aim to comprehensively analyze the robustness of LiDAR semantic segmentation models under various corruptions. To rigorously evaluate the robustness and generalizability of current approaches, we propose a new benchmark called SemanticKITTI-C, which features 16 out-of-domain LiDAR corruptions in three groups, namely adverse weather, measurement noise and cross-device discrepancy. Then, we systematically investigate 11 LiDAR semantic segmentation models, especially spanning different input representations (e.g., point clouds, voxels, projected images, and etc.), network architectures and training schemes. Through this study, we obtain two insights: 1) We find out that the input representation plays a crucial role in robustness. Specifically, under specific corruptions, different representations perform variously. 2) Although state-of-the-art methods on LiDAR semantic segmentation achieve promising results on clean data, they are less robust when dealing with noisy data. Finally, based on the above observations, we design a robust LiDAR segmentation model (RLSeg) which greatly boosts the robustness with simple but effective modifications. It is promising that our benchmark, comprehensive analysis, and observations can boost future research in robust LiDAR semantic segmentation for safety-critical applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google