Zero-BEV: Zero-shot Projection of Any First-Person Modality to BEV Maps

要約

鳥瞰図 (BEV) マップは、ロボット工学、特に自動運転車や地上ロボットで広く使用されている重要な幾何学的構造表現です。
既存のアルゴリズムは、幾何学的投影のための深さ情報を必要とするが、それが常に確実に利用できるとは限らない、あるいは視覚的な一人称観察を BEV 表現にマッピングするために完全に教師付きの方法でエンドツーエンドでトレーニングされるため、出力モダリティに制限されます。
彼らはそのために訓練を受けてきました。
対照的に、我々は、一人称視点で利用可能なあらゆるモダリティのゼロショット投影を、対応する BEV マップに実行できる新しいモデルを提案します。
これは、幾何学的逆透視投影をモダリティ変換から解きほぐすことによって達成されます。
RGB から占有まで。
この方法は一般的であり、セマンティック セグメンテーション、動きベクトル、一人称で検出されたオブジェクト境界ボックスという 3 つの異なるモダリティを BEV に投影する実験を紹介します。
我々は、このモデルが競合する手法、特に単眼の深度推定に頼って広く使用されているベースラインよりも優れていることを実験的に示しています。

要約(オリジナル)

Bird’s-eye view (BEV) maps are an important geometrically structured representation widely used in robotics, in particular self-driving vehicles and terrestrial robots. Existing algorithms either require depth information for the geometric projection, which is not always reliably available, or are trained end-to-end in a fully supervised way to map visual first-person observations to BEV representation, and are therefore restricted to the output modality they have been trained for. In contrast, we propose a new model capable of performing zero-shot projections of any modality available in a first person view to the corresponding BEV map. This is achieved by disentangling the geometric inverse perspective projection from the modality transformation, eg. RGB to occupancy. The method is general and we showcase experiments projecting to BEV three different modalities: semantic segmentation, motion vectors and object bounding boxes detected in first person. We experimentally show that the model outperforms competing methods, in particular the widely used baseline resorting to monocular depth estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google