Robust Collaborative Perception without External Localization and Clock Devices

要約

エージェント間の情報交換を通じて知覚能力を向上させようとする協調的知覚では、複数のエージェント間で一貫した空間的・時間的調整を行うことが基本である。この空間的・時間的調整を達成するために、従来の方法では、定位信号とクロック信号を提供する外部デバイスに依存していた。しかし、ハードウェアで生成された信号はノイズに弱く、潜在的に悪意のある攻撃を受ける可能性があり、空間-時間アライメントの精度を危うくする。外部ハードウェアに依存するのではなく、本研究では、様々なエージェントの知覚データ内に内在する幾何学的パターンを認識することによってアライメントを行うという、新しいアプローチを提案する。この精神に従い、我々は、外部の定位装置や時計装置とは独立して動作する、ロバストな協調知覚システムを提案する。我々のシステムの重要なモジュールである〜emph{FreeAlign}は、検出されたボックスに基づいて、各エージェントのための顕著なオブジェクトグラフを構築し、エージェント間の共通のサブグラフを識別するためにグラフニューラルネットワークを使用し、正確な相対的なポーズと時間を導く。emph{FreeAlign}を実データセットとシミュレーションデータセットの両方で検証しました。その結果、〜emph{FreeAlign}を利用したロバストな協調知覚システムは、正確な定位と時計装置に依存したシステムに匹敵する性能を示した。

要約(オリジナル)

A consistent spatial-temporal coordination across multiple agents is fundamental for collaborative perception, which seeks to improve perception abilities through information exchange among agents. To achieve this spatial-temporal alignment, traditional methods depend on external devices to provide localization and clock signals. However, hardware-generated signals could be vulnerable to noise and potentially malicious attack, jeopardizing the precision of spatial-temporal alignment. Rather than relying on external hardwares, this work proposes a novel approach: aligning by recognizing the inherent geometric patterns within the perceptual data of various agents. Following this spirit, we propose a robust collaborative perception system that operates independently of external localization and clock devices. The key module of our system,~\emph{FreeAlign}, constructs a salient object graph for each agent based on its detected boxes and uses a graph neural network to identify common subgraphs between agents, leading to accurate relative pose and time. We validate \emph{FreeAlign} on both real-world and simulated datasets. The results show that, the ~\emph{FreeAlign} empowered robust collaborative perception system perform comparably to systems relying on precise localization and clock devices.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL