Sunshine to Rainstorm: Cross-Weather Knowledge Distillation for Robust 3D Object Detection

要約

LiDAR ベースの 3D 物体検出モデルは、従来、雨天時にはスキャン信号の劣化とノイズの発生により困難を極めてきました。
これまでの研究では、雨によるノイズをシミュレートして検出モデルの堅牢性を向上させることで、この問題に対処しようとしました。
ただし、シミュレートされた雨の影響を受けたデータ ポイントと実際の雨の影響を受けたデータ ポイントの間には、大きな差異が存在します。
この研究では、DRET と呼ばれる新しい雨シミュレーション手法を提案します。これは、ダイナミクスと雨環境理論を統合して、3D 検出トレーニングに利用可能な現実的な雨データを拡張する費用対効果の高い手段を提供します。
さらに、雨天時の 3D 検出を強化するための、晴れから雨への知識蒸留 (SRKD) アプローチを紹介します。
WaymoOpenDataset 大規模データセットに関する広範な実験により、最先端の DSVT モデルや他の古典的な 3D 検出器と組み合わせた場合、私たちが提案したフレームワークが効率を損なうことなく検出精度が大幅に向上することが示されました。
驚くべきことに、当社のフレームワークは晴天条件下でも検出能力を向上させているため、天候が雨天か晴天かに関係なく、3D 検出のための堅牢なソリューションを提供します。

要約(オリジナル)

LiDAR-based 3D object detection models have traditionally struggled under rainy conditions due to the degraded and noisy scanning signals. Previous research has attempted to address this by simulating the noise from rain to improve the robustness of detection models. However, significant disparities exist between simulated and actual rain-impacted data points. In this work, we propose a novel rain simulation method, termed DRET, that unifies Dynamics and Rainy Environment Theory to provide a cost-effective means of expanding the available realistic rain data for 3D detection training. Furthermore, we present a Sunny-to-Rainy Knowledge Distillation (SRKD) approach to enhance 3D detection under rainy conditions. Extensive experiments on the WaymoOpenDataset large-scale dataset show that, when combined with the state-of-the-art DSVT model and other classical 3D detectors, our proposed framework demonstrates significant detection accuracy improvements, without losing efficiency. Remarkably, our framework also improves detection capabilities under sunny conditions, therefore offering a robust solution for 3D detection regardless of whether the weather is rainy or sunny

arxiv情報

提供元, 利用サービス

arxiv.jp, Google