Robust 3D Object Detection in Cold Weather Conditions

要約

悪天候は、LiDARベースのオブジェクト検出器に悪影響を与える可能性があります。
この作業では、寒冷時の車両の排気ガス凝縮現象に焦点を当てます。
この日常的な影響は、オブジェクトのサイズや向きの推定に影響を与え、ゴーストオブジェクトの検出をもたらし、最先端のオブジェクト検出器の信頼性を損なう可能性があります。
データ拡張と新しいトレーニング損失項を使用して、この問題を解決することを提案します。
ディープニューラルネットワークを効果的にトレーニングするには、ラベル付けされたデータの大規模なセットが必要です。
悪天候の場合、このプロセスは非常に手間と費用がかかる可能性があります。
この問題には2つのステップで対処します。最初に、3D表面再構成とサンプリングに基づくガス排気データ生成方法を示します。これにより、ラベル付けされたデータの小さなプールから大量のガス排気雲を生成できます。
次に、良好な気象条件で記録されたデータセットにガス排気を追加するために使用できる点群増強プロセスを紹介します。
最後に、拡張ポイントクラウドを活用して、ノイズを含む予測にペナルティを課すことにより、オブジェクト検出の堅牢性を高める新しいトレーニング損失項を作成します。
他の作品とは対照的に、私たちの方法はグリッドベースとポイントベースの両方の検出器で使用できます。
さらに、私たちのアプローチではネットワークアーキテクチャを変更する必要がないため、推論時間は変わりません。
実際のデータでの実験結果は、提案された方法がガス排気とノイズの多いデータに対するロバスト性を大幅に向上させることを示しています。

要約(オリジナル)

Adverse weather conditions can negatively affect LiDAR-based object detectors. In this work, we focus on the phenomenon of vehicle gas exhaust condensation in cold weather conditions. This everyday effect can influence the estimation of object sizes, orientations and introduce ghost object detections, compromising the reliability of the state of the art object detectors. We propose to solve this problem by using data augmentation and a novel training loss term. To effectively train deep neural networks, a large set of labeled data is needed. In case of adverse weather conditions, this process can be extremely laborious and expensive. We address this issue in two steps: First, we present a gas exhaust data generation method based on 3D surface reconstruction and sampling which allows us to generate large sets of gas exhaust clouds from a small pool of labeled data. Second, we introduce a point cloud augmentation process that can be used to add gas exhaust to datasets recorded in good weather conditions. Finally, we formulate a new training loss term that leverages the augmented point cloud to increase object detection robustness by penalizing predictions that include noise. In contrast to other works, our method can be used with both grid-based and point-based detectors. Moreover, since our approach does not require any network architecture changes, inference times remain unchanged. Experimental results on real data show that our proposed method greatly increases robustness to gas exhaust and noisy data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google