Robust Collaborative Perception without External Localization and Clock Devices

要約

複数のエージェントにわたる一貫した時空間調整は、エージェント間の情報交換を通じて知覚能力の向上を目指す共同知覚の基礎です。
この時空間の調整を実現するために、従来の方法では、位置特定とクロック信号を提供する外部デバイスに依存していました。
ただし、ハードウェアで生成された信号はノイズや潜在的に悪意のある攻撃に対して脆弱である可能性があり、時空間アライメントの精度が危険にさらされます。
この研究では、外部ハードウェアに依存するのではなく、さまざまなエージェントの知覚データ内に固有の幾何学的パターンを認識することによって位置合わせを行うという新しいアプローチを提案しています。
この精神に従って、外部の位置特定やクロックデバイスから独立して動作する堅牢な協調知覚システムを提案します。
私たちのシステムの主要なモジュール ~\emph{FreeAlign} は、検出されたボックスに基づいて各エージェントの顕著なオブジェクト グラフを構築し、グラフ ニューラル ネットワークを使用してエージェント間の共通のサブグラフを識別し、正確な相対的な姿勢と時間を導きます。
\emph{FreeAlign} を現実世界のデータセットとシミュレートされたデータセットの両方で検証します。
結果は、 ~\emph{FreeAlign} を強化した堅牢な共同認識システムが、正確な位置特定とクロック デバイスに依存するシステムと同等に機能することを示しています。

要約(オリジナル)

A consistent spatial-temporal coordination across multiple agents is fundamental for collaborative perception, which seeks to improve perception abilities through information exchange among agents. To achieve this spatial-temporal alignment, traditional methods depend on external devices to provide localization and clock signals. However, hardware-generated signals could be vulnerable to noise and potentially malicious attack, jeopardizing the precision of spatial-temporal alignment. Rather than relying on external hardwares, this work proposes a novel approach: aligning by recognizing the inherent geometric patterns within the perceptual data of various agents. Following this spirit, we propose a robust collaborative perception system that operates independently of external localization and clock devices. The key module of our system,~\emph{FreeAlign}, constructs a salient object graph for each agent based on its detected boxes and uses a graph neural network to identify common subgraphs between agents, leading to accurate relative pose and time. We validate \emph{FreeAlign} on both real-world and simulated datasets. The results show that, the ~\emph{FreeAlign} empowered robust collaborative perception system perform comparably to systems relying on precise localization and clock devices.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google