Robust Asynchronous Collaborative 3D Detection via Bird’s Eye View Flow

要約

複数のエージェント間のコミュニケーションを促進することで、協調的な知覚により各エージェントの知覚能力を大幅に向上させることができます。
ただし、現実世界では、通信の遅延、中断、時計のずれなどにより、エージェント間の時間的な非同期は避けられません。
この問題は、マルチエージェントの融合中に情報の不一致を引き起こし、コラボレーションの基盤を大きく揺るがします。
この問題に対処するために、鳥瞰図 (BEV) フローに基づく非同期堅牢な協調 3D 認識システムである CoBEVFlow を提案します。
CoBEVFlow の重要な直感は、複数のエージェントによって送信された非同期コラボレーション メッセージを調整するために動きを補正することです。
シーン内の動きをモデル化するために、各空間位置に対応する動きベクトルの集合である BEV フローを提案します。
BEV フローに基づいて、非同期の知覚特徴を適切な位置に再割り当てして、非同期の影響を軽減できます。
CoBEVFlow には 2 つの利点があります。(i) CoBEVFlow は、不規則で連続的なタイムスタンプで送信される非同期コラボレーション メッセージを離散化せずに処理できます。
(ii) BEV フローでは、CoBEVFlow は新しい知覚特徴を生成するのではなく、元の知覚特徴のみを転送し、追加のノイズを回避します。
CoBEVFlow の有効性を検証するために、さまざまな現実世界のシナリオをシミュレートするさまざまな時間的非同期性を備えた初の合成協調知覚データセットである IRregulator V2V(IRV2V) を作成します。
IRV2V と現実世界のデータセット DAIR-V2X の両方で行われた広範な実験により、CoBEVFlow が他のベースラインを常に上回り、極度の非同期設定でも堅牢であることが示されています。
コードが公開されます。

要約(オリジナル)

By facilitating communication among multiple agents, collaborative perception can substantially boost each agent’s perception ability. However, temporal asynchrony among agents is inevitable in real-world due to communication delays, interruptions, and clock misalignments. This issue causes information mismatch during multi-agent fusion, seriously shaking the foundation of collaboration. To address this issue, we propose CoBEVFlow, an asynchrony-robust collaborative 3D perception system based on bird’s eye view (BEV) flow. The key intuition of CoBEVFlow is to compensate motions to align asynchronous collaboration messages sent by multiple agents. To model the motion in a scene, we propose BEV flow, which is a collection of the motion vector corresponding to each spatial location. Based on BEV flow, asynchronous perceptual features can be reassigned to appropriate positions, mitigating the impact of asynchrony. CoBEVFlow has two advantages: (i) CoBEVFlow can handle asynchronous collaboration messages sent at irregular, continuous time stamps without discretization; and (ii) with BEV flow, CoBEVFlow only transports the original perceptual features, instead of generating new perceptual features, avoiding additional noises. To validate CoBEVFlow’s efficacy, we create IRregular V2V(IRV2V), the first synthetic collaborative perception dataset with various temporal asynchronies that simulate different real-world scenarios. Extensive experiments conducted on both IRV2V and the real-world dataset DAIR-V2X show that CoBEVFlow consistently outperforms other baselines and is robust in extremely asynchronous settings. The code will be released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google