FB-BEV: BEV Representation from Forward-Backward View Transformations

要約

ビュー変換モジュール（VTM）は、マルチビュー画像の特徴とバードアイビュー（BEV）表現との間で変換を行うもので、カメラベースのBEV知覚システムにおいて重要なステップである。現在、最も著名な2つのVTMパラダイムは、前方投影と後方投影である。前方投影は、Lift-Splat-Shootで表され、後処理なしで疎に投影されたBEV特徴をもたらす。BEVFormerに代表される後方投影は、深さを利用しないため、誤った投影から偽陽性のBEV特徴を生成する傾向がある。上記の限界に対処するために、我々は新しい前方-後方ビュー変換モジュールを提案する。我々のアプローチは、両既存手法の欠点を補い、より高品質なBEV表現を得るために相互に強化することを可能にする。提案モジュールをFB-BEVでインスタンス化し、nuScenesテストセットで62.4%のNDSという新しい最先端結果を達成した。本コードは∕URL{https://github.com/NVlabs/FB-BEV}で公開される予定である。

要約(オリジナル)

View Transformation Module (VTM), where transformations happen between multi-view image features and Bird-Eye-View (BEV) representation, is a crucial step in camera-based BEV perception systems. Currently, the two most prominent VTM paradigms are forward projection and backward projection. Forward projection, represented by Lift-Splat-Shoot, leads to sparsely projected BEV features without post-processing. Backward projection, with BEVFormer being an example, tends to generate false-positive BEV features from incorrect projections due to the lack of utilization on depth. To address the above limitations, we propose a novel forward-backward view transformation module. Our approach compensates for the deficiencies in both existing methods, allowing them to enhance each other to obtain higher quality BEV representations mutually. We instantiate the proposed module with FB-BEV, which achieves a new state-of-the-art result of 62.4\% NDS on the nuScenes test set. The code will be released at \url{https://github.com/NVlabs/FB-BEV}.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL