DELTA: Dense Depth from Events and LiDAR using Transformer’s Attention

要約

イベントカメラとLiDARはそれぞれ、照明の変化の非同期検出と、一定速度でのまばらだが正確な深度情報という、相補的だが異なるデータを提供する。今日に至るまで、これら2つのモダリティの組み合わせを検討した研究はほとんどない。本稿では、イベントデータとLiDARデータを融合し、高密度な深度マップを推定するための、ニューラルネットワークベースの新しい手法を提案する。我々のアーキテクチャであるDELTAは、イベントとLiDARデータ内およびデータ間の空間的・時間的関係をモデル化するために、自己注意と相互注意の概念を利用する。徹底的な評価の後、我々はDELTAがイベントベースの深度推定問題における新たな技術的地位を確立し、従来のSOTAと比較して近距離で最大4倍まで誤差を低減できることを実証する。

要約(オリジナル)

Event cameras and LiDARs provide complementary yet distinct data: respectively, asynchronous detections of changes in lighting versus sparse but accurate depth information at a fixed rate. To this day, few works have explored the combination of these two modalities. In this article, we propose a novel neural-network-based method for fusing event and LiDAR data in order to estimate dense depth maps. Our architecture, DELTA, exploits the concepts of self- and cross-attention to model the spatial and temporal relations within and between the event and LiDAR data. Following a thorough evaluation, we demonstrate that DELTA sets a new state of the art in the event-based depth estimation problem, and that it is able to reduce the errors up to four times for close ranges compared to the previous SOTA.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL