Depth3DLane: Monocular 3D Lane Detection via Depth Prior Distillation

要約

単一カメラ画像から深さ情報をキャプチャするのが難しいため、単眼3Dレーン検出は困難です。
一般的な戦略には、逆の視点マッピング（IPM）を介して、フロントビュー（FV）画像を鳥瞰図（BEV）空間に変換し、BEV機能を使用したレーン検出を促進します。
ただし、IPMのフラットグラウンドの仮定とコンテキスト情報の喪失は、3D情報、特に高さの再構築における不正確さにつながります。
このホワイトペーパーでは、これらの制限に対処し、3Dレーン検出の精度を向上させるBEVベースのフレームワークを紹介します。
私たちのアプローチには、さまざまな深さにわたって空間的認識を高めることにより、マルチスケールの深さの特徴を提供する階層的な深さアウェアヘッドが組み込まれており、フラットグラウンドの仮定を軽減します。
さらに、深さの事前蒸留を活用して、教師モデルからセマンティック深度知識を移転し、複雑なレーン構造のより豊かな構造的およびコンテキスト情報をキャプチャします。
車線の連続性をさらに絞り込み、滑らかな車線再構成を確保するために、レーン予測に空間的一貫性を強制する条件付きランダムフィールドモジュールを導入します。
広範な実験では、我々の方法がZ軸エラーの観点から最先端のパフォーマンスを達成し、全体的なパフォーマンスでフィールドの他の方法を上回ることを検証します。
このコードは、https：//anonymous.4open.science/r/depth3dlane-dcddでリリースされます。

要約(オリジナル)

Monocular 3D lane detection is challenging due to the difficulty in capturing depth information from single-camera images. A common strategy involves transforming front-view (FV) images into bird’s-eye-view (BEV) space through inverse perspective mapping (IPM), facilitating lane detection using BEV features. However, IPM’s flat-ground assumption and loss of contextual information lead to inaccuracies in reconstructing 3D information, especially height. In this paper, we introduce a BEV-based framework to address these limitations and improve 3D lane detection accuracy. Our approach incorporates a Hierarchical Depth-Aware Head that provides multi-scale depth features, mitigating the flat-ground assumption by enhancing spatial awareness across varying depths. Additionally, we leverage Depth Prior Distillation to transfer semantic depth knowledge from a teacher model, capturing richer structural and contextual information for complex lane structures. To further refine lane continuity and ensure smooth lane reconstruction, we introduce a Conditional Random Field module that enforces spatial coherence in lane predictions. Extensive experiments validate that our method achieves state-of-the-art performance in terms of z-axis error and outperforms other methods in the field in overall performance. The code is released at: https://anonymous.4open.science/r/Depth3DLane-DCDD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google