DurLAR: A High-fidelity 128-channel LiDAR Dataset with Panoramic Ambient and Reflectivity Imagery for Multi-modal Autonomous Driving Applications

要約

パノラマ環境 (近赤外線) および反射率画像を備えた高忠実度 128 チャネル 3D LiDAR データセットである DurLAR と、自動運転アプリケーション向けの深度推定を使用したサンプル ベンチマーク タスクを紹介します。
当社の運転プラットフォームには、高解像度 128 チャンネル LiDAR、2MP ステレオ カメラ、照度計、GNSS/INS システムが装備されています。
環境画像と反射率画像は、LiDAR 点群とともに利用できるようになり、環境情報と反射率のシーン情報を同時にマルチモーダルに使用することが容易になります。
以前のベンチマークを超える解像度を持つ DurLAR を活用して、単眼の奥行き推定のタスクを検討し、この高解像度でありながらまばらなグラウンド トゥルース シーンの奥行き情報の利用可能性の向上を利用して、新しい共同教師あり/自己教師あり損失定式化を提案します。
新しい DurLAR データセット、確立された KITTI ベンチマーク、および Cityscapes データセットの両方でパフォーマンスを比較します。
私たちの評価は、DurLAR 内の優れたグラウンド トゥルース解像度と可用性によって可能になった教師あり損失項と自己教師あり損失項の併用により、主要な現代の単眼深度推定アプローチ (RMSE=3.639、Sq Rel=0.936) の定量的および定性的パフォーマンスが向上することを示しています。

要約(オリジナル)

We present DurLAR, a high-fidelity 128-channel 3D LiDAR dataset with panoramic ambient (near infrared) and reflectivity imagery, as well as a sample benchmark task using depth estimation for autonomous driving applications. Our driving platform is equipped with a high resolution 128 channel LiDAR, a 2MPix stereo camera, a lux meter and a GNSS/INS system. Ambient and reflectivity images are made available along with the LiDAR point clouds to facilitate multi-modal use of concurrent ambient and reflectivity scene information. Leveraging DurLAR, with a resolution exceeding that of prior benchmarks, we consider the task of monocular depth estimation and use this increased availability of higher resolution, yet sparse ground truth scene depth information to propose a novel joint supervised/self-supervised loss formulation. We compare performance over both our new DurLAR dataset, the established KITTI benchmark and the Cityscapes dataset. Our evaluation shows our joint use supervised and self-supervised loss terms, enabled via the superior ground truth resolution and availability within DurLAR improves the quantitative and qualitative performance of leading contemporary monocular depth estimation approaches (RMSE=3.639, Sq Rel=0.936).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google