Video super-resolution for single-photon LIDAR

要約

3D タイム オブ フライト (ToF) イメージ センサーは、自動運転車、拡張現実 (AR)、ロボット工学などのアプリケーションで広く使用されています。
単一光子アバランシェ ダイオード (SPAD) を実装すると、機械的なスキャンを必要とせずに、長距離にわたって正確な深度マップを提供するコンパクトなアレイ形式のセンサーを作成できます。
ただし、アレイのサイズは小さい傾向があり、横方向の解像度が低くなり、高い周囲照明下での信号対雑音比 (SNR) レベルが低くなり、シーンの解釈が困難になる可能性があります。
この論文では、合成深度シーケンスを使用して、深度データのノイズ除去とアップスケーリング (x4) のために 3D 畳み込みニューラル ネットワーク (CNN) をトレーニングします。
合成および実際の ToF データに基づく実験結果を使用して、スキームの有効性を実証します。
GPU アクセラレーションを使用すると、フレームは毎秒 30 フレームを超える速度で処理されるため、このアプローチは障害物回避に必要な低レイテンシ イメージングに適しています。

要約(オリジナル)

3D Time-of-Flight (ToF) image sensors are used widely in applications such as self-driving cars, Augmented Reality (AR) and robotics. When implemented with Single-Photon Avalanche Diodes (SPADs), compact, array format sensors can be made that offer accurate depth maps over long distances, without the need for mechanical scanning. However, array sizes tend to be small, leading to low lateral resolution, which combined with low Signal-to-Noise Ratio (SNR) levels under high ambient illumination, may lead to difficulties in scene interpretation. In this paper, we use synthetic depth sequences to train a 3D Convolutional Neural Network (CNN) for denoising and upscaling (x4) depth data. Experimental results, based on synthetic as well as real ToF data, are used to demonstrate the effectiveness of the scheme. With GPU acceleration, frames are processed at >30 frames per second, making the approach suitable for low-latency imaging, as required for obstacle avoidance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google