Wild ToFu: Improving Range and Quality of Indirect Time-of-Flight Depth with RGB Fusion in Challenging Environments

要約

間接飛行時間（I-ToF）イメージングは​​、サイズが小さく手頃な価格であるため、モバイルデバイスの深度推定の広範な方法です。
これまでの研究は、主にI-ToFイメージングの品質改善、特にマルチパス干渉（MPI）の影響の治療に焦点を当てていました。
これらの調査は通常、近距離、屋内、および周囲光がほとんどない、特に制約のあるシナリオで行われます。
驚くべきことに、限られたセンサーパワーと光散乱による減衰によって引き起こされる極端な量の誘導ショットノイズと信号のスパース性のために、強い周囲光と遠距離が困難をもたらす実際のシナリオでのI-ToF品質の向上を調査した研究はほとんどありません。
この作業では、ノイズの多い生のI-ToF信号とRGB画像を取得し、暗黙的および明示的なアライメントの両方を含むマルチステップアプローチに基づいて潜在的な表現を融合する新しい学習ベースのエンドツーエンド深度予測ネットワークを提案します。
RGB視点に位置合わせされた高品質の長距離深度マップを予測します。
挑戦的な現実世界のシーンでアプローチをテストし、ベースラインアプローチと比較して最終的な深度マップで40％を超えるRMSEの改善を示しています。

要約(オリジナル)

Indirect Time-of-Flight (I-ToF) imaging is a widespread way of depth estimation for mobile devices due to its small size and affordable price. Previous works have mainly focused on quality improvement for I-ToF imaging especially curing the effect of Multi Path Interference (MPI). These investigations are typically done in specifically constrained scenarios at close distance, indoors and under little ambient light. Surprisingly little work has investigated I-ToF quality improvement in real-life scenarios where strong ambient light and far distances pose difficulties due to an extreme amount of induced shot noise and signal sparsity, caused by the attenuation with limited sensor power and light scattering. In this work, we propose a new learning based end-to-end depth prediction network which takes noisy raw I-ToF signals as well as an RGB image and fuses their latent representation based on a multi step approach involving both implicit and explicit alignment to predict a high quality long range depth map aligned to the RGB viewpoint. We test our approach on challenging real-world scenes and show more than 40% RMSE improvement on the final depth map compared to the baseline approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google