Unleashing HyDRa: Hybrid Fusion, Depth Consistency and Radar for Unified 3D Perception

要約

自律運転のための低コストの視覚中心の3D認識システムは、近年大きな進歩を遂げており、高価なライダーベースの方法へのギャップを狭めています。
カメラベースのシステムが長い検出範囲と有害な照明と気象条件に苦しんでいるため、完全に信頼性の高い代替品になることの主な課題は、堅牢な深さ予測機能にあります。
この作業では、多様な3D認識タスクのための新しいカメラレーダーフュージョンアーキテクチャであるHydraを紹介します。
密集したBev（鳥瞰図）ベースのアーキテクチャの原則に基づいて、Hydraは、2つの異なる表現スペースで相補的なカメラとレーダーの特徴の強度を組み合わせて、ハイブリッド融合アプローチを導入します。
当社の高さのアソシエーショントランスモジュールは、より堅牢で正確な深さ予測を生成するために、視点で既にレーダー機能を活用しています。
BEVでは、レーダー加重された深さの一貫性によって、初期のスパース表現を改良します。
Hydraは、公共のヌスセネスデータセットで64.2 NDS（+1.8）および58.4 AMOTA（+1.5）のカメラレーダー融合のための新しい最先端を達成します。
さらに、私たちの新しい意味的に豊富で空間的に正確なBEV機能は、強力な占有表現に直接変換でき、OCC3Dベンチマークの以前のすべてのカメラベースの方法を印象的な3.7 miouによって破ります。
コードとモデルはhttps://github.com/phi-wol/hydraで入手できます。

要約(オリジナル)

Low-cost, vision-centric 3D perception systems for autonomous driving have made significant progress in recent years, narrowing the gap to expensive LiDAR-based methods. The primary challenge in becoming a fully reliable alternative lies in robust depth prediction capabilities, as camera-based systems struggle with long detection ranges and adverse lighting and weather conditions. In this work, we introduce HyDRa, a novel camera-radar fusion architecture for diverse 3D perception tasks. Building upon the principles of dense BEV (Bird’s Eye View)-based architectures, HyDRa introduces a hybrid fusion approach to combine the strengths of complementary camera and radar features in two distinct representation spaces. Our Height Association Transformer module leverages radar features already in the perspective view to produce more robust and accurate depth predictions. In the BEV, we refine the initial sparse representation by a Radar-weighted Depth Consistency. HyDRa achieves a new state-of-the-art for camera-radar fusion of 64.2 NDS (+1.8) and 58.4 AMOTA (+1.5) on the public nuScenes dataset. Moreover, our new semantically rich and spatially accurate BEV features can be directly converted into a powerful occupancy representation, beating all previous camera-based methods on the Occ3D benchmark by an impressive 3.7 mIoU. Code and models are available at https://github.com/phi-wol/hydra.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google