Towards Full-scene Domain Generalization in Multi-agent Collaborative Bird’s Eye View Segmentation for Connected and Autonomous Driving

要約

協調知覚は、自動運転において最近大きな注目を集めており、車両間で追加情報を交換できるようにすることで知覚の質を向上させます。
ただし、協調的な認識システムを展開すると、多様な環境条件やコネクテッド自動運転車 (CAV) 間のデータの異質性により、ドメインの変化が生じる可能性があります。
これらの課題に対処するために、共同認識のトレーニング段階と推論段階の両方に適用できる統一ドメイン一般化フレームワークを提案します。
トレーニング フェーズでは、低周波画像の変動を増強する振幅拡張 (AmpAug) メソッドを導入し、モデルの学習能力をさまざまなドメインにわたって拡張します。
また、メタ一貫性トレーニング スキームを採用してドメイン シフトをシミュレートし、慎重に設計された一貫性損失でモデルを最適化し、ドメイン不変表現を促進します。
推論フェーズでは、推論前に CAV 間のドメインの不一致を軽減または潜在的に排除するために、システム内ドメイン調整メカニズムを導入します。
包括的な実験により、既存の最先端の研究と比較して、私たちの方法の有効性が実証されています。
コードは https://github.com/DG-CAVs/DG-CoPerception.git でリリースされます。

要約(オリジナル)

Collaborative perception has recently gained significant attention in autonomous driving, improving perception quality by enabling the exchange of additional information among vehicles. However, deploying collaborative perception systems can lead to domain shifts due to diverse environmental conditions and data heterogeneity among connected and autonomous vehicles (CAVs). To address these challenges, we propose a unified domain generalization framework applicable in both training and inference stages of collaborative perception. In the training phase, we introduce an Amplitude Augmentation (AmpAug) method to augment low-frequency image variations, broadening the model’s ability to learn across various domains. We also employ a meta-consistency training scheme to simulate domain shifts, optimizing the model with a carefully designed consistency loss to encourage domain-invariant representations. In the inference phase, we introduce an intra-system domain alignment mechanism to reduce or potentially eliminate the domain discrepancy among CAVs prior to inference. Comprehensive experiments substantiate the effectiveness of our method in comparison with the existing state-of-the-art works. Code will be released at https://github.com/DG-CAVs/DG-CoPerception.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google