CoopDETR: A Unified Cooperative Perception Framework for 3D Detection via Object Query

要約

協同的認識は、環境の包括的な見解を提供することにより、自律車（AVS）の個々の認識能力を強化します。
ただし、知覚のパフォーマンスと送信コストのバランスをとることは、依然として大きな課題です。
エージェント全体で地域レベルの機能を送信する現在のアプローチは、解釈可能性が制限されており、実質的なアプリケーションには不適切な帯域幅を要求しています。
この作業では、オブジェクトクエリを介してオブジェクトレベルの機能協力を導入する斬新な協同知覚フレームワークであるCoopdetrを提案します。
私たちのフレームワークは、2つの重要なモジュールで構成されています。単一エージェントクエリ生成は、生のセンサーデータをオブジェクトクエリに効率的にエンコードし、送信コストを削減しながら、検出に不可欠な情報を維持します。
クロスエージェントクエリフュージョンには、クエリ間の効果的な相互作用を可能にするための空間クエリマッチング（SQM）およびオブジェクトクエリ集約（OQA）が含まれます。
OPV2VおよびV2XSETデータセットの実験は、CoopDetrが最先端のパフォーマンスを達成し、伝送コストを1/782の以前の方法に大幅に削減することを示しています。

要約(オリジナル)

Cooperative perception enhances the individual perception capabilities of autonomous vehicles (AVs) by providing a comprehensive view of the environment. However, balancing perception performance and transmission costs remains a significant challenge. Current approaches that transmit region-level features across agents are limited in interpretability and demand substantial bandwidth, making them unsuitable for practical applications. In this work, we propose CoopDETR, a novel cooperative perception framework that introduces object-level feature cooperation via object query. Our framework consists of two key modules: single-agent query generation, which efficiently encodes raw sensor data into object queries, reducing transmission cost while preserving essential information for detection; and cross-agent query fusion, which includes Spatial Query Matching (SQM) and Object Query Aggregation (OQA) to enable effective interaction between queries. Our experiments on the OPV2V and V2XSet datasets demonstrate that CoopDETR achieves state-of-the-art performance and significantly reduces transmission costs to 1/782 of previous methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google