Collaborative Semantic Occupancy Prediction with Hybrid Feature Fusion in Connected Automated Vehicles

要約

自動運転車における共同知覚では、エージェント間の情報交換を活用し、知覚結果の向上を目指します。
従来のカメラベースの共同 3D 認識方法では、通常、環境の表現として 3D 境界ボックスまたは鳥瞰図が使用されていました。
ただし、これらのアプローチは、包括的な 3D 環境予測を提供するには不十分です。
このギャップを埋めるために、協調的な 3D セマンティック占有予測の最初の方法を導入します。
特に、(i) セマンティックおよび占有タスクの特徴と、(ii) 車両間で共有される圧縮直交注意特徴のハイブリッド融合により、ローカル 3D セマンティック占有予測が改善されます。
さらに、セマンティック占有予測用に設計された協調的知覚データセットが不足しているため、より堅牢な評価を行うために、現在の協調的知覚データセットを拡張して 3D 協調的セマンティック占有ラベルを含めます。
実験結果は次のことを強調しています: (i) 私たちの協調的なセマンティック占有予測は単一車両の結果よりも 30% 以上優れており、(ii) セマンティック占有に基づいたモデルはその後の知覚において最先端の協調 3D 検出技術を上回っています。
道路環境における精度の向上と意味認識の強化を示すアプリケーションです。

要約(オリジナル)

Collaborative perception in automated vehicles leverages the exchange of information between agents, aiming to elevate perception results. Previous camera-based collaborative 3D perception methods typically employ 3D bounding boxes or bird’s eye views as representations of the environment. However, these approaches fall short in offering a comprehensive 3D environmental prediction. To bridge this gap, we introduce the first method for collaborative 3D semantic occupancy prediction. Particularly, it improves local 3D semantic occupancy predictions by hybrid fusion of (i) semantic and occupancy task features, and (ii) compressed orthogonal attention features shared between vehicles. Additionally, due to the lack of a collaborative perception dataset designed for semantic occupancy prediction, we augment a current collaborative perception dataset to include 3D collaborative semantic occupancy labels for a more robust evaluation. The experimental findings highlight that: (i) our collaborative semantic occupancy predictions excel above the results from single vehicles by over 30%, and (ii) models anchored on semantic occupancy outpace state-of-the-art collaborative 3D detection techniques in subsequent perception applications, showcasing enhanced accuracy and enriched semantic-awareness in road environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google