Rethinking Collaborative Perception from the Spatial-Temporal Importance of Semantic Information

要約

意味情報の共有によるコラボレーションは、認識能力の強化を可能にするために重要です。
しかし、既存の共同認識手法は、意味情報の空間的特徴のみに焦点を当てる傾向があり、パフォーマンスの低下を引き起こす、共同作業者の選択と意味情報の融合における時間的次元の重要性を無視しています。
この記事では、時間的次元と空間的次元の両方から意味情報 (IoSI) の重要性を考慮した、新しい協調的知覚フレームワーク IoSI-CP を提案します。
具体的には、有利な協力者を効果的に特定し、マイナスの利益をもたらす協力者を除外する、IoSI ベースの協力者選択方法を開発します。
さらに、HPHA (歴史的事前ハイブリッド アテンション) と呼ばれるセマンティック情報融合アルゴリズムを提案します。このアルゴリズムは、マルチスケール変換モジュールと短期アテンション モジュールを統合して、空間的および時間的次元から IoSI をキャプチャし、効率的な集約のためにさまざまな重みを割り当てます。
2 つのオープン データセットに対する広範な実験により、私たちが提案した IoSI-CP が最先端のアプローチと比較して知覚パフォーマンスを大幅に向上させることが実証されました。
この研究に関連するコードは、https://github.com/huangqzj/IoSI-CP/ で公開されています。

要約(オリジナル)

Collaboration by the sharing of semantic information is crucial to enable the enhancement of perception capabilities. However, existing collaborative perception methods tend to focus solely on the spatial features of semantic information, while neglecting the importance of the temporal dimension in collaborator selection and semantic information fusion, which instigates performance degradation. In this article, we propose a novel collaborative perception framework, IoSI-CP, which takes into account the importance of semantic information (IoSI) from both temporal and spatial dimensions. Specifically, we develop an IoSI-based collaborator selection method that effectively identifies advantageous collaborators but excludes those that bring negative benefits. Moreover, we present a semantic information fusion algorithm called HPHA (historical prior hybrid attention), which integrates a multi-scale transformer module and a short-term attention module to capture IoSI from spatial and temporal dimensions, and assigns varying weights for efficient aggregation. Extensive experiments on two open datasets demonstrate that our proposed IoSI-CP significantly improves the perception performance compared to state-of-the-art approaches. The code associated with this research is publicly available at https://github.com/huangqzj/IoSI-CP/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google