Self-Localized Collaborative Perception

要約

共同知覚は、オクルージョンや範囲外の問題など、単一エージェントの知覚に固有のいくつかの課題に対処できるため、かなりの注目を集めています。
しかし、既存の協調的知覚システムは、エージェント間で一貫した空間座標系を確立するために、正確な位置特定システムに大きく依存しています。
この依存性により、大きなポーズエラーや悪意のある攻撃の影響を受けやすくなり、その結果、知覚パフォーマンスが大幅に低下します。
これに対処するために、外部ローカライゼーション システムを使用せずに、より包括的で堅牢なコラボレーションを実現する、新しい自己ローカライズされた共同認識システムである ~$\mathtt{CoBEVGlue}$ を提案します。
~$\mathtt{CoBEVGlue}$ のコアは新しい空間位置合わせモジュールであり、エージェント間で共通に見えるオブジェクトを効果的に一致させることにより、エージェント間の相対的な姿勢を提供します。
現実世界とシミュレートされたデータセットの両方でメソッドを検証します。
結果は、i) $\mathtt{CoBEVGlue}$ が任意のローカリゼーション ノイズや攻撃の下で最先端の検出パフォーマンスを達成することを示しています。
ii) 空間アライメント モジュールは、以前の方法の大部分とシームレスに統合でき、パフォーマンスが平均 $57.7\%$ 向上します。
コードは https://github.com/VincentNi0107/CoBEVGlue で入手できます。

要約(オリジナル)

Collaborative perception has garnered considerable attention due to its capacity to address several inherent challenges in single-agent perception, including occlusion and out-of-range issues. However, existing collaborative perception systems heavily rely on precise localization systems to establish a consistent spatial coordinate system between agents. This reliance makes them susceptible to large pose errors or malicious attacks, resulting in substantial reductions in perception performance. To address this, we propose~$\mathtt{CoBEVGlue}$, a novel self-localized collaborative perception system, which achieves more holistic and robust collaboration without using an external localization system. The core of~$\mathtt{CoBEVGlue}$ is a novel spatial alignment module, which provides the relative poses between agents by effectively matching co-visible objects across agents. We validate our method on both real-world and simulated datasets. The results show that i) $\mathtt{CoBEVGlue}$ achieves state-of-the-art detection performance under arbitrary localization noises and attacks; and ii) the spatial alignment module can seamlessly integrate with a majority of previous methods, enhancing their performance by an average of $57.7\%$. Code is available at https://github.com/VincentNi0107/CoBEVGlue

arxiv情報

提供元, 利用サービス

arxiv.jp, Google