DELTAR: Depth Estimation from a Light-weight ToF Sensor and RGB Image

要約

軽量の飛行時間型 (ToF) 深度センサーは、小型、安価、低エネルギーであり、オートフォーカス、障害物検出などの目的でモバイル デバイスに大量に展開されています。
特定のピクセルの深度値の代わりに領域内で) および非常に低い解像度であるため、3D 再構成などの高忠実度の深度を必要とするアプリケーションには不十分です。
この論文では、カラー画像と連携して高解像度と正確な深度を測定する機能を備えた軽量ToFセンサーを強化する新しい方法であるDELTARを提案します。
DELTAR のコアとして、色と ToF ドメインからの情報を効率的に融合するために、深度分布と注意ベースのニューラル アーキテクチャ用にカスタマイズされた特徴抽出器が提案されています。
実際のシナリオでシステムを評価するために、データ収集デバイスを設計し、RGB カメラと ToF センサーを調整する新しいアプローチを提案します。
実験によると、私たちの方法は、深度補完と深度超解像のために設計された既存のフレームワークよりも正確な深度を生成し、コモディティ レベルの RGB-D センサーと同等のパフォーマンスを達成することが示されています。
コードとデータは https://zju3dv.github.io/deltar/ で入手できます。

要約(オリジナル)

Light-weight time-of-flight (ToF) depth sensors are small, cheap, low-energy and have been massively deployed on mobile devices for the purposes like autofocus, obstacle detection, etc. However, due to their specific measurements (depth distribution in a region instead of the depth value at a certain pixel) and extremely low resolution, they are insufficient for applications requiring high-fidelity depth such as 3D reconstruction. In this paper, we propose DELTAR, a novel method to empower light-weight ToF sensors with the capability of measuring high resolution and accurate depth by cooperating with a color image. As the core of DELTAR, a feature extractor customized for depth distribution and an attention-based neural architecture is proposed to fuse the information from the color and ToF domain efficiently. To evaluate our system in real-world scenarios, we design a data collection device and propose a new approach to calibrate the RGB camera and ToF sensor. Experiments show that our method produces more accurate depth than existing frameworks designed for depth completion and depth super-resolution and achieves on par performance with a commodity-level RGB-D sensor. Code and data are available at https://zju3dv.github.io/deltar/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google