QUEST: Query Stream for Vehicle-Infrastructure Cooperative Perception

要約

協調知覚は、新たな視点を提供し、センシングフィールドを拡大することで、個人の知覚パフォーマンスを効果的に向上させることができる。既存の協調パラダイムは、解釈可能な協調（結果協調）か柔軟な協調（特徴協調）のどちらかである。本稿では、解釈可能なインスタンスレベルの柔軟な特徴協調を可能にするために、クエリ協調の概念を提案する。この概念を具体的に説明するために、エージェント間のクエリストリームフローを可能にする、QUESTと呼ばれる協調的知覚フレームワークを提案する。エージェント間のクエリは、共同認識インスタンスに対してはフュージョンを、個々の未認識インスタンスに対しては補完を介して相互作用する。カメラベースの車両-インフラ知覚を典型的な実用シーンとして、実世界のデータセットであるDAIR-V2X-Seqでの実験結果は、QUESTの有効性を実証し、さらに、伝送の柔軟性とパケット脱落に対する頑健性において、クエリ協調パラダイムの優位性を明らかにする。我々は、我々の研究が、より良い協調知覚のためのエージェント間表現相互作用をさらに促進することを期待している。

要約(オリジナル)

Cooperative perception can effectively enhance individual perception performance by providing additional viewpoint and expanding the sensing field. Existing cooperation paradigms are either interpretable (result cooperation) or flexible (feature cooperation). In this paper, we propose the concept of query cooperation to enable interpretable instance-level flexible feature interaction. To specifically explain the concept, we propose a cooperative perception framework, termed QUEST, which let query stream flow among agents. The cross-agent queries are interacted via fusion for co-aware instances and complementation for individual unaware instances. Taking camera-based vehicle-infrastructure perception as a typical practical application scene, the experimental results on the real-world dataset, DAIR-V2X-Seq, demonstrate the effectiveness of QUEST and further reveal the advantage of the query cooperation paradigm on transmission flexibility and robustness to packet dropout. We hope our work can further facilitate the cross-agent representation interaction for better cooperative perception in practice.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL