V2X-DG: Domain Generalization for Vehicle-to-Everything Cooperative Perception

要約

LIDARベースの車両からすべての車両（V2X）協同組合の認識は、自律運転の安全性と有効性への影響を実証しています。
現在の協同的認識アルゴリズムは同じデータセットでトレーニングおよびテストされているため、協同的認識システムの一般化能力は未脱カタリングのままです。
このペーパーは、4つの広く使用されているオープンソースデータセットに基づく3D検出のためのLIDARベースのV2X協同的認識（V2X-DG）のドメイン一般化問題を研究する最初の作業です：OPV2V、V2XSET、V2V4REAL、DAIR-V2X。
私たちの研究では、ソースドメイン内だけでなく、ソースドメインでのトレーニングのみを通じて達成される他の目に見えないドメイン全体で高性能を維持しようとしています。
この目的のために、協力的な知覚のドメインギャップ向けに設計された目に見えない協力をシミュレートすることにより、モデルの一般化能力を改善するために、協同組合混合拡張ベースの一般化（CMAG）を提案します。
さらに、CMAGによる一般化された協力の中間に融合した特徴と、ソースドメインでの元の協力の初期の融合機能を整列させる、堅牢な一般化された特徴表現学習：協力機能の一貫性（CFC）の正規化のための制約を提案します。
広範な実験は、他の目に見えないデータセットに一般化するときに、私たちのアプローチが大幅なパフォーマンスの向上を達成することを示していますが、ソースデータセットでも強力なパフォーマンスを維持しています。

要約(オリジナル)

LiDAR-based Vehicle-to-Everything (V2X) cooperative perception has demonstrated its impact on the safety and effectiveness of autonomous driving. Since current cooperative perception algorithms are trained and tested on the same dataset, the generalization ability of cooperative perception systems remains underexplored. This paper is the first work to study the Domain Generalization problem of LiDAR-based V2X cooperative perception (V2X-DG) for 3D detection based on four widely-used open source datasets: OPV2V, V2XSet, V2V4Real and DAIR-V2X. Our research seeks to sustain high performance not only within the source domain but also across other unseen domains, achieved solely through training on source domain. To this end, we propose Cooperative Mixup Augmentation based Generalization (CMAG) to improve the model generalization capability by simulating the unseen cooperation, which is designed compactly for the domain gaps in cooperative perception. Furthermore, we propose a constraint for the regularization of the robust generalized feature representation learning: Cooperation Feature Consistency (CFC), which aligns the intermediately fused features of the generalized cooperation by CMAG and the early fused features of the original cooperation in source domain. Extensive experiments demonstrate that our approach achieves significant performance gains when generalizing to other unseen datasets while it also maintains strong performance on the source dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google