Direct-CP: Directed Collaborative Perception for Connected and Autonomous Vehicles via Proactive Attention

要約

共同認識（CP）は、接続された車両および自律車（CAV）からの視覚データを活用して、エゴ車両の視野（FOV）を強化します。
最近の進歩にもかかわらず、現在のCPメソッドは、エゴ車両の360度の知覚範囲をほぼ等しく拡張し、2つの重要な課題に直面しています。
第一に、交通量の不均一な地域では、交通量が少ない方向に焦点を当てることは、限られた利点をもたらします。
第二に、限られた通信予算の下では、過度の帯域幅をより重要でない方向に割り当てることで、より重要な領域での知覚精度が低下します。
これらの問題に対処するために、特定の方向にCPを改善することを目的とした積極的で方向性を意識するCPシステムである直接CPを提案します。
私たちの重要なアイデアは、エゴ車両が関心のある方向を積極的に知らせ、その注意を再調整してローカルの方向性CPパフォーマンスを強化することです。
これを達成するために、最初に、自我の車両が重要な方向を特定するのを支援するRSU支援方向マスキングメカニズムを提案します。
さらに、エゴ車両の方向性の優先順位、通信予算、およびCavsの位置データに基づいて、賢明に集約された適切な機能を賢明に集約するための方向に意識した選択的注意モジュールを設計します。
さらに、方向性CPの結果とグラウンドトゥルースの間の発散を捉えるために、方向加重検出損失（dwloss）を導入し、効果的なモデルトレーニングを促進します。
V2X-SIM 2.0データセットでの広範な実験は、私たちのアプローチが、関心のある方向で19.8％高い局所認識精度を達成し、共同3Dオブジェクト検出タスクの最先端の方法よりも2.5％高い全体的な知覚精度を達成することを示しています。

要約(オリジナル)

Collaborative perception (CP) leverages visual data from connected and autonomous vehicles (CAV) to enhance an ego vehicle’s field of view (FoV). Despite recent progress, current CP methods expand the ego vehicle’s 360-degree perceptual range almost equally, which faces two key challenges. Firstly, in areas with uneven traffic distribution, focusing on directions with little traffic offers limited benefits. Secondly, under limited communication budgets, allocating excessive bandwidth to less critical directions lowers the perception accuracy in more vital areas. To address these issues, we propose Direct-CP, a proactive and direction-aware CP system aiming at improving CP in specific directions. Our key idea is to enable an ego vehicle to proactively signal its interested directions and readjust its attention to enhance local directional CP performance. To achieve this, we first propose an RSU-aided direction masking mechanism that assists an ego vehicle in identifying vital directions. Additionally, we design a direction-aware selective attention module to wisely aggregate pertinent features based on ego vehicle’s directional priorities, communication budget, and the positional data of CAVs. Moreover, we introduce a direction-weighted detection loss (DWLoss) to capture the divergence between directional CP outcomes and the ground truth, facilitating effective model training. Extensive experiments on the V2X-Sim 2.0 dataset demonstrate that our approach achieves 19.8\% higher local perception accuracy in interested directions and 2.5\% higher overall perception accuracy than the state-of-the-art methods in collaborative 3D object detection tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google