TripleMixer: A 3D Point Cloud Denoising Model for Adverse Weather

要約

LiDAR センサーは、自動運転システムで高解像度の 3D 点群データを提供し、正確な環境認識を可能にするために不可欠です。
ただし、雨、霧、雪などの現実世界の悪天候により、重大なノイズや干渉が発生し、LiDAR データの信頼性やセマンティック セグメンテーションなどの下流タスクのパフォーマンスが低下します。
既存のデータセットは、気象の多様性が限られており、データセットのサイズが小さいため、モデルのトレーニングにおける有効性が制限されることがよくあります。
さらに、現在のディープラーニングのノイズ除去手法は、特定のシナリオでは効果的ですが、多くの場合解釈可能性に欠けており、意思決定プロセスを理解して検証する能力が複雑になります。
これらの制限を克服するために、雨、霧、雪という 3 つの一般的な悪天候条件をカバーする 2 つの大規模データセット、Weather-KITTI と Weather-NuScenes を導入します。
これらのデータセットは、元の LiDAR 取得情報を保持し、雨、霧、雪に対するポイントレベルのセマンティック ラベルを提供します。
さらに、ジオメトリ ミキサー層、周波数ミキサー層、チャネル ミキサー層の 3 つのミキサー層で構成される、新しい点群ノイズ除去モデル TripleMixer を提案します。
これらのレイヤーは、それぞれ、幾何学的空間情報を取得し、マルチスケール周波数情報を抽出し、点群のマルチチャネル特徴情報を強化するように設計されています。
現実世界のシナリオで WADS データセットと、私たちが提案した Weather-KITTI および Weather-NuScenes データセットに対して行われた実験は、私たちのモデルが最先端のノイズ除去パフォーマンスを達成していることを実証しています。
さらに、私たちの実験では、ノイズ除去モデルを既存のセグメンテーション フレームワークに統合すると、ダウンストリーム タスクのパフォーマンスが向上することが示されています。データセットとコードは、https://github.com/Grandzxw/TripleMixer で公開される予定です。

要約(オリジナル)

LiDAR sensors are crucial for providing high-resolution 3D point cloud data in autonomous driving systems, enabling precise environmental perception. However, real-world adverse weather conditions, such as rain, fog, and snow, introduce significant noise and interference, degrading the reliability of LiDAR data and the performance of downstream tasks like semantic segmentation. Existing datasets often suffer from limited weather diversity and small dataset sizes, which restrict their effectiveness in training models. Additionally, current deep learning denoising methods, while effective in certain scenarios, often lack interpretability, complicating the ability to understand and validate their decision-making processes. To overcome these limitations, we introduce two large-scale datasets, Weather-KITTI and Weather-NuScenes, which cover three common adverse weather conditions: rain, fog, and snow. These datasets retain the original LiDAR acquisition information and provide point-level semantic labels for rain, fog, and snow. Furthermore, we propose a novel point cloud denoising model, TripleMixer, comprising three mixer layers: the Geometry Mixer Layer, the Frequency Mixer Layer, and the Channel Mixer Layer. These layers are designed to capture geometric spatial information, extract multi-scale frequency information, and enhance the multi-channel feature information of point clouds, respectively. Experiments conducted on the WADS dataset in real-world scenarios, as well as on our proposed Weather-KITTI and Weather-NuScenes datasets, demonstrate that our model achieves state-of-the-art denoising performance. Additionally, our experiments show that integrating the denoising model into existing segmentation frameworks enhances the performance of downstream tasks.The datasets and code will be made publicly available at https://github.com/Grandzxw/TripleMixer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google