AgentAlign: Misalignment-Adapted Multi-Agent Perception for Resilient Inter-Agent Sensor Correlations

要約

協調知覚は、コネクテッド自動運転車 (CAV) やスマート インフラストラクチャ間で共有された情報を活用して、センシング オクルージョンや範囲制限の問題に対処できるため、幅広い注目を集めています。
しかし、異種エージェントのセンサー測定値は環境要因の影響を非常に受けやすく、エージェント間のセンサー相互作用の弱体化につながるため、既存の研究では、マルチエージェント設定における脆弱なマルチセンサー相関関係が見落とされています。
さまざまな動作条件やその他の現実世界の要因により、多因子ノイズが必然的に導入され、その結果、マルチセンサーの位置ずれが発生するため、現実世界ではマルチエージェントのマルチモダリティ認識の展開が特に困難になります。
この論文では、これらのマルチモダリティの不整合の問題に効果的に対処するために、現実世界の異種エージェントのクロスモダリティ機能調整フレームワークである AgentAlign を提案します。
私たちの方法では、クロスモダリティ機能アラインメント スペース (CFAS) と異種エージェント機能アラインメント (HAFA) メカニズムを導入し、さまざまなエージェント間でマルチモダリティ機能を動的に調和させます。
さらに、さまざまな環境条件下で現実的なセンサーの不完全性をシミュレートする新しい V2XSet ノイズ データセットを提示し、アプローチの堅牢性の体系的な評価を促進します。
V2X-Real および V2XSet-Noise ベンチマークに関する広範な実験により、当社のフレームワークが最先端のパフォーマンスを達成していることが実証され、協調自動運転における現実世界のアプリケーションの可能性が強調されています。
制御可能な V2XSet-Noise データセットと生成パイプラインは将来リリースされる予定です。

要約(オリジナル)

Cooperative perception has attracted wide attention given its capability to leverage shared information across connected automated vehicles (CAVs) and smart infrastructures to address sensing occlusion and range limitation issues. However, existing research overlooks the fragile multi-sensor correlations in multi-agent settings, as the heterogeneous agent sensor measurements are highly susceptible to environmental factors, leading to weakened inter-agent sensor interactions. The varying operational conditions and other real-world factors inevitably introduce multifactorial noise and consequentially lead to multi-sensor misalignment, making the deployment of multi-agent multi-modality perception particularly challenging in the real world. In this paper, we propose AgentAlign, a real-world heterogeneous agent cross-modality feature alignment framework, to effectively address these multi-modality misalignment issues. Our method introduces a cross-modality feature alignment space (CFAS) and heterogeneous agent feature alignment (HAFA) mechanism to harmonize multi-modality features across various agents dynamically. Additionally, we present a novel V2XSet-noise dataset that simulates realistic sensor imperfections under diverse environmental conditions, facilitating a systematic evaluation of our approach’s robustness. Extensive experiments on the V2X-Real and V2XSet-Noise benchmarks demonstrate that our framework achieves state-of-the-art performance, underscoring its potential for real-world applications in cooperative autonomous driving. The controllable V2XSet-Noise dataset and generation pipeline will be released in the future.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google