Cross-spectral Gated-RGB Stereo Depth Estimation

要約

ゲート カメラはシーンをフラッド照明し、シーンの時間ゲート インパルス応答をキャプチャします。
ナノ秒スケールのゲートを採用することで、既存のセンサーはメガピクセルのゲート画像をキャプチャできるようになり、空間解像度と深さの精度が今日の LiDAR センサーより向上した高密度の深度を提供できます。
ゲート深度推定方法は、フレームごとに 100 万もの深度推定値を提供しますが、その解像度は依然として既存の RGB イメージング方法よりも 1 桁低いです。
この研究では、高解像度ステレオ HDR RCCB カメラとゲート イメージングを組み合わせて、アクティブ ゲート、マルチビュー RGB およびマルチビュー NIR センシングからの深度キュー、つまりスペクトル全体にわたるマルチビューおよびゲート キューを利用できるようにします。
結果として得られるキャプチャ システムは、低コストの CMOS センサーと投光照明のみで構成されます。
我々は、IRカットフィルターを除去するときにRCCBカメラによって測定されるアクティブ照明を含む、これらのマルチモーダルマルチビュー奥行きキューを利用できる新しいステレオ奥行き推定方法を提案します。
提案された方法は、長距離で正確な深度を実現し、蓄積された LiDAR グラウンドトゥルースの MAE で 100 ～ 220 m の範囲で、次に優れた既存の方法を 39% 上回ります。
コード、モデル、データセットは https://light.princeton.edu/gatedrccbstereo/ で入手できます。

要約(オリジナル)

Gated cameras flood-illuminate a scene and capture the time-gated impulse response of a scene. By employing nanosecond-scale gates, existing sensors are capable of capturing mega-pixel gated images, delivering dense depth improving on today’s LiDAR sensors in spatial resolution and depth precision. Although gated depth estimation methods deliver a million of depth estimates per frame, their resolution is still an order below existing RGB imaging methods. In this work, we combine high-resolution stereo HDR RCCB cameras with gated imaging, allowing us to exploit depth cues from active gating, multi-view RGB and multi-view NIR sensing — multi-view and gated cues across the entire spectrum. The resulting capture system consists only of low-cost CMOS sensors and flood-illumination. We propose a novel stereo-depth estimation method that is capable of exploiting these multi-modal multi-view depth cues, including the active illumination that is measured by the RCCB camera when removing the IR-cut filter. The proposed method achieves accurate depth at long ranges, outperforming the next best existing method by 39% for ranges of 100 to 220m in MAE on accumulated LiDAR ground-truth. Our code, models and datasets are available at https://light.princeton.edu/gatedrccbstereo/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google