Monocular BEV Perception of Road Scenes via Front-to-Top View Projection

要約

HD マップの再構築は、自動運転にとって非常に重要です。
LiDAR ベースの方法は、高価なセンサーと時間のかかる計算のために制限されています。
通常、カメラベースの方法では、道路のセグメンテーションとビューの変換を別々に実行する必要があります。これにより、多くの場合、歪みやコンテンツの欠落が発生します。
技術の限界を押し広げるために、正面単眼画像のみが与えられた鳥瞰図の道路レイアウトと車両占有率によって形成されたローカルマップを再構築する新しいフレームワークを提示します。
ビュー間のサイクルの一貫性の制約を考慮し、ビューの変換とシーンの理解を強化するためにそれらの相関関係を最大限に活用する、フロントツートップ ビュー プロジェクション (FTVP) モジュールを提案します。
さらに、マルチスケール FTVP モジュールを適用して、低レベルの特徴の豊富な空間情報を伝播し、予測されたオブジェクトの位置の空間偏差を軽減します。
公開ベンチマークでの実験では、道路レイアウト推定、車両占有率推定、およびマルチクラス セマンティック推定のタスクで、この方法が最先端のパフォーマンスを達成することが示されています。
特に、マルチクラスのセマンティック推定の場合、私たちのモデルはすべての競合他社よりも大幅に優れています。
さらに、モデルは単一の GPU で 25 FPS で実行されます。これは、リアルタイムのパノラマ HD マップ再構築に効率的で適用可能です。

要約(オリジナル)

HD map reconstruction is crucial for autonomous driving. LiDAR-based methods are limited due to expensive sensors and time-consuming computation. Camera-based methods usually need to perform road segmentation and view transformation separately, which often causes distortion and missing content. To push the limits of the technology, we present a novel framework that reconstructs a local map formed by road layout and vehicle occupancy in the bird’s-eye view given a front-view monocular image only. We propose a front-to-top view projection (FTVP) module, which takes the constraint of cycle consistency between views into account and makes full use of their correlation to strengthen the view transformation and scene understanding. In addition, we also apply multi-scale FTVP modules to propagate the rich spatial information of low-level features to mitigate spatial deviation of the predicted object location. Experiments on public benchmarks show that our method achieves the state-of-the-art performance in the tasks of road layout estimation, vehicle occupancy estimation, and multi-class semantic estimation. For multi-class semantic estimation, in particular, our model outperforms all competitors by a large margin. Furthermore, our model runs at 25 FPS on a single GPU, which is efficient and applicable for real-time panorama HD map reconstruction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google