Reflectivity Is All You Need!: Advancing LiDAR Semantic Segmentation

要約

LiDAR セマンティック セグメンテーション フレームワークは、主にジオメトリ ベースの機能を使用して、スキャン内のオブジェクトを区別します。
これらの方法は、境界が明確で形状が明確なシナリオでは優れていますが、境界が不明瞭な環境、特にオフロード環境ではパフォーマンスが低下します。
この問題に対処するために、3D セグメンテーション アルゴリズムの最近の進歩は、生の LiDAR 強度測定値を活用して予測精度を向上させることを目的としています。
しかし、これらの進歩にもかかわらず、既存の学習ベースのモデルは、生の強度と、距離、入射角、材料の反射率、大気条件などの変数との間の複雑な相互作用をリンクする際に課題に直面しています。
このペーパーは、これまでの研究に基づいて、学習ベースの LiDAR セマンティック セグメンテーション フレームワーク内で調整された強度 (反射率とも呼ばれる) を採用する利点を検討します。
まず、入力として反射率を追加すると、より適切なデータ表現が提供され、LiDAR セマンティック セグメンテーション モデルが強化されることを実証します。
Rellis-3d オフロード データセットを使用した広範な実験により、強度を反射率に置き換えることにより、オフロード シナリオの平均交差オーバーユニオン (mIoU) が 4\% 向上することがわかりました。
都市環境におけるセマンティック セグメンテーション (SemanticKITTI) とクロスセンサー ドメインの適応に、調整された強度を使用することの潜在的な利点を示します。
さらに、反射率を入力として使用してセグメント何でもモデル (SAM) をテストし、その結果、LiDAR 画像のセグメンテーション マスクが改善されました。

要約(オリジナル)

LiDAR semantic segmentation frameworks predominantly use geometry-based features to differentiate objects within a scan. Although these methods excel in scenarios with clear boundaries and distinct shapes, their performance declines in environments where boundaries are indistinct, particularly in off-road contexts. To address this issue, recent advances in 3D segmentation algorithms have aimed to leverage raw LiDAR intensity readings to improve prediction precision. However, despite these advances, existing learning-based models face challenges in linking the complex interactions between raw intensity and variables such as distance, incidence angle, material reflectivity, and atmospheric conditions. Building upon our previous work, this paper explores the advantages of employing calibrated intensity (also referred to as reflectivity) within learning-based LiDAR semantic segmentation frameworks. We start by demonstrating that adding reflectivity as input enhances the LiDAR semantic segmentation model by providing a better data representation. Extensive experimentation with the Rellis-3d off-road dataset shows that replacing intensity with reflectivity results in a 4\% improvement in mean Intersection over Union (mIoU) for off-road scenarios. We demonstrate the potential benefits of using calibrated intensity for semantic segmentation in urban environments (SemanticKITTI) and for cross-sensor domain adaptation. Additionally, we tested the Segment Anything Model (SAM) using reflectivity as input, resulting in improved segmentation masks for LiDAR images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google