V2X-DGW: Domain Generalization for Multi-agent Perception under Adverse Weather Conditions

要約

現在の LiDAR ベースの Vehicle-to-Everything (V2X) マルチエージェント認識システムは、3D 物体検出で大きな成功を収めています。
これらのモデルは、訓練された晴天では良好なパフォーマンスを発揮しますが、目に見えない悪天候では現実世界のドメインギャップにより苦戦します。
この論文では、悪天候下でのマルチエージェント認識システム上の LiDAR ベースの 3D 物体検出のための、V2X-DGW と呼ばれるドメイン一般化アプローチを提案します。
私たちの研究は、晴天時だけでなく、晴天データのみを学習することで、目に見えない悪天候でもマルチエージェントの良好なパフォーマンスを確保することを目的としています。
この分野の研究を進めるために、私たちは広く使用されている 2 つのマルチエージェント データセットに対する 3 つの蔓延する悪天候の影響をシミュレートし、その結果、2 つの新しいベンチマーク データセット、OPV2V-w および V2XSet-w が作成されました。
この目的を達成するために、まず目に見えない悪天候を模倣する適応気象拡張 (AWA) を導入し、次に一般化可能な表現学習のための 2 つのアライメント、信頼領域天候不変アライメント (TWA) とエージェント認識コントラスト アライメント (ACA) を提案します。
）。
広範な実験結果により、当社の V2X-DGW が目に見えない悪天候条件で改善を達成したことが実証されています。

要約(オリジナル)

Current LiDAR-based Vehicle-to-Everything (V2X) multi-agent perception systems have shown the significant success on 3D object detection. While these models perform well in the trained clean weather, they struggle in unseen adverse weather conditions with the real-world domain gap. In this paper, we propose a domain generalization approach, named V2X-DGW, for LiDAR-based 3D object detection on multi-agent perception system under adverse weather conditions. Not only in the clean weather does our research aim to ensure favorable multi-agent performance, but also in the unseen adverse weather conditions by learning only on the clean weather data. To advance research in this area, we have simulated the impact of three prevalent adverse weather conditions on two widely-used multi-agent datasets, resulting in the creation of two novel benchmark datasets: OPV2V-w and V2XSet-w. To this end, we first introduce the Adaptive Weather Augmentation (AWA) to mimic the unseen adverse weather conditions, and then propose two alignments for generalizable representation learning: Trust-region Weather-invariant Alignment (TWA) and Agent-aware Contrastive Alignment (ACA). Extensive experimental results demonstrate that our V2X-DGW achieved improvements in the unseen adverse weather conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google