Is Intermediate Fusion All You Need for UAV-based Collaborative Perception?

要約

共同認識は、エージェント間のコミュニケーションを通じて環境意識を高め、インテリジェントな輸送システムに対する有望なソリューションと見なされています。
ただし、無人航空機（UAV）の既存の共同メソッドは、UAVの視点のユニークな特性を見落としており、実質的な通信オーバーヘッドをもたらします。
この問題に対処するために、後期中学生の融合に基づいた新しいコミュニケーション効率の高い共同認識の認識フレームワークを提案します。LIFと呼ばれます。
コアコンセプトは、有益でコンパクトな検出結果を交換し、融合段階を特徴表現レベルにシフトすることです。
特に、視力誘導位置埋め込み（VPE）およびボックスベースの仮想拡張機能（BoBEV）を活用して、さまざまなエージェントからの補完情報を効果的に統合します。
さらに、不確実性の評価を使用して高品質で信頼できる共有領域を選択する不確実性駆動型のコミュニケーションメカニズムを革新的に導入します。
実験結果は、私たちのLIFが最小限のコミュニケーション帯域幅で優れたパフォーマンスを達成し、その有効性と実用性を証明することを示しています。
コードとモデルはhttps://github.com/uestchjw/lifで入手できます。

要約(オリジナル)

Collaborative perception enhances environmental awareness through inter-agent communication and is regarded as a promising solution to intelligent transportation systems. However, existing collaborative methods for Unmanned Aerial Vehicles (UAVs) overlook the unique characteristics of the UAV perspective, resulting in substantial communication overhead. To address this issue, we propose a novel communication-efficient collaborative perception framework based on late-intermediate fusion, dubbed LIF. The core concept is to exchange informative and compact detection results and shift the fusion stage to the feature representation level. In particular, we leverage vision-guided positional embedding (VPE) and box-based virtual augmented feature (BoBEV) to effectively integrate complementary information from various agents. Additionally, we innovatively introduce an uncertainty-driven communication mechanism that uses uncertainty evaluation to select high-quality and reliable shared areas. Experimental results demonstrate that our LIF achieves superior performance with minimal communication bandwidth, proving its effectiveness and practicality. Code and models are available at https://github.com/uestchjw/LIF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google