LED: Light Enhanced Depth Estimation at Night

要約

夜間のカメラベースの深度推定は、安全なナビゲーションを確保するために正確な深度認識が不可欠である自動運転アプリケーションでは特に、非常に困難なタスクです。
私たちは、夜間の知覚システムの信頼性を向上させることを目指しています。この場合、昼間のデータでトレーニングされたモデルは、正確ではあるが高価な LiDAR センサーがないと失敗することがよくあります。
この研究では、最新の車両に搭載されている高精細ヘッドライトによって投影されるパターンを利用することで、低照度環境での深度推定を大幅に改善する、新しい費用対効果の高いアプローチである Light Enhanced Depth (LED) を紹介します。
LED は、合成データセットと実際のデータセットの両方で、複数の深度推定アーキテクチャ (エンコーダー/デコーダー、Adabins、DepthFormer) のパフォーマンスを大幅に向上させます。
さらに、照明領域を超えたパフォーマンスの向上により、シーンの理解が全体的に強化されていることがわかります。
最後に、夜間合成ドライブ データセットをリリースします。これは、包括的に注釈が付けられた 49,990 枚の画像で構成される、写真のようにリアルな新しい合成夜間データセットです。

要約(オリジナル)

Nighttime camera-based depth estimation is a highly challenging task, especially for autonomous driving applications, where accurate depth perception is essential for ensuring safe navigation. We aim to improve the reliability of perception systems at night time, where models trained on daytime data often fail in the absence of precise but costly LiDAR sensors. In this work, we introduce Light Enhanced Depth (LED), a novel cost-effective approach that significantly improves depth estimation in low-light environments by harnessing a pattern projected by high definition headlights available in modern vehicles. LED leads to significant performance boosts across multiple depth-estimation architectures (encoder-decoder, Adabins, DepthFormer) both on synthetic and real datasets. Furthermore, increased performances beyond illuminated areas reveal a holistic enhancement in scene understanding. Finally, we release the Nighttime Synthetic Drive Dataset, a new synthetic and photo-realistic nighttime dataset, which comprises 49,990 comprehensively annotated images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google