Unlocking Past Information: Temporal Embeddings in Cooperative Bird’s Eye View Prediction

要約

Bird’s Eye View (BEV) の正確かつ包括的なセマンティック セグメンテーションは、自動運転における安全でプロアクティブなナビゲーションを確保するために不可欠です。
協調的知覚は単一エージェント システムの検出能力を超えていますが、協調的知覚における普及しているカメラベースのアルゴリズムは、過去の観察から得られる貴重な情報を無視しています。
この制限は、センサーの故障や通信の問題が発生した場合に重要になります。これは、協力的な認識が単一エージェントの認識に戻り、パフォーマンスの低下や不完全な BEV セグメンテーション マップにつながるためです。
この論文では、過去の手がかりを現在の観測に組み込むように設計された時間モジュールである TempCoBEV を紹介し、それによって BEV マップ セグメンテーションの品質と信頼性を向上させます。
我々は、BEV マップのセグメンテーションに関連するプロパティを優先する時間情報を効果的に統合する、重要度に基づくアテンション アーキテクチャを提案します。
TempCoBEV は、最先端のカメラベースの協調知覚モデルにシームレスに統合される独立した時間モジュールです。
OPV2V データセットでの広範な実験を通じて、TempCoBEV が、現在および将来の BEV マップ セグメンテーションの予測において、特に通信障害を伴うシナリオにおいて、非時間モデルよりも優れたパフォーマンスを発揮することを実証しました。
我々は、TempCoBEV の有効性と、過去の手がかりを現在の BEV マップに統合し、最適な通信条件下での予測を最大 2%、通信障害下での予測を最大 19% 改善する機能を示します。
コードはGitHubで公開されます。

要約(オリジナル)

Accurate and comprehensive semantic segmentation of Bird’s Eye View (BEV) is essential for ensuring safe and proactive navigation in autonomous driving. Although cooperative perception has exceeded the detection capabilities of single-agent systems, prevalent camera-based algorithms in cooperative perception neglect valuable information derived from historical observations. This limitation becomes critical during sensor failures or communication issues as cooperative perception reverts to single-agent perception, leading to degraded performance and incomplete BEV segmentation maps. This paper introduces TempCoBEV, a temporal module designed to incorporate historical cues into current observations, thereby improving the quality and reliability of BEV map segmentations. We propose an importance-guided attention architecture to effectively integrate temporal information that prioritizes relevant properties for BEV map segmentation. TempCoBEV is an independent temporal module that seamlessly integrates into state-of-the-art camera-based cooperative perception models. We demonstrate through extensive experiments on the OPV2V dataset that TempCoBEV performs better than non-temporal models in predicting current and future BEV map segmentations, particularly in scenarios involving communication failures. We show the efficacy of TempCoBEV and its capability to integrate historical cues into the current BEV map, improving predictions under optimal communication conditions by up to 2% and under communication failures by up to 19%. The code will be published on GitHub.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google