V2X-DGW: Domain Generalization for Multi-agent Perception under Adverse Weather Conditions

要約

現在の LiDAR ベースの Vehicle-to-Everything (V2X) マルチエージェント認識システムは、3D 物体検出で大きな成功を収めています。
これらのモデルは、訓練された晴天では良好に機能しますが、ドメイン ギャップがある目に見えない悪天候では苦戦します。
この論文では、悪天候下でのマルチエージェント認識システム上の LiDAR ベースの 3D オブジェクト検出のための、V2X-DGW と呼ばれるドメイン一般化ベースのアプローチを提案します。
私たちの研究は、晴天時のマルチエージェントの良好なパフォーマンスを維持するだけでなく、晴天データのみを学習することで、目に見えない悪天候時のパフォーマンスを促進することを目的としています。
ドメインの一般化を実現するために、まず目に見えない悪天候を模倣する適応気象拡張 (AWA) を導入し、次に一般化可能な表現学習のための 2 つのアライメントを提案します。それは、信頼領域の天候不変アライメント (TWA) とエージェント認識の対照アライメントです。
(ACA)。
この研究を評価するために、物理ベースのモデルに基づいて公開されている 2 つのマルチエージェント データセットに霧、雨、雪の条件を追加し、2 つの新しいデータセット、OPV2V-w と V2XSet-w を作成しました。
広範な実験により、当社の V2X-DGW が目に見えない悪天候において大幅な改善を達成したことが実証されました。

要約(オリジナル)

Current LiDAR-based Vehicle-to-Everything (V2X) multi-agent perception systems have shown the significant success on 3D object detection. While these models perform well in the trained clean weather, they struggle in unseen adverse weather conditions with the domain gap. In this paper, we propose a Domain Generalization based approach, named V2X-DGW, for LiDAR-based 3D object detection on multi-agent perception system under adverse weather conditions. Our research aims to not only maintain favorable multi-agent performance in the clean weather but also promote the performance in the unseen adverse weather conditions by learning only on the clean weather data. To realize the Domain Generalization, we first introduce the Adaptive Weather Augmentation (AWA) to mimic the unseen adverse weather conditions, and then propose two alignments for generalizable representation learning: Trust-region Weather-invariant Alignment (TWA) and Agent-aware Contrastive Alignment (ACA). To evaluate this research, we add Fog, Rain, Snow conditions on two publicized multi-agent datasets based on physics-based models, resulting in two new datasets: OPV2V-w and V2XSet-w. Extensive experiments demonstrate that our V2X-DGW achieved significant improvements in the unseen adverse weathers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google