Supersampling of Data from Structured-light Scanner with Deep Learning

要約

この論文は、構造化光技術を使用して 3D カメラから取得される深度マップの解像度を高めることに焦点を当てています。
2 つの深層学習モデル FDSR と DKN は、高解像度データを処理できるように変更されており、安定したトレーニングのためにデータ前処理技術が実装されています。
モデルは 1,200 の 3D スキャンのカスタム データセットでトレーニングされています。
結果として得られる高解像度深度マップは、定性的および定量的なメトリクスを使用して評価されます。
深度マップのアップサンプリングのアプローチには、最初に高解像度の深度マップをダウンサンプリングし、低解像度でさまざまな処理ステップを実行し、結果の深度マップをアップサンプリングするか、キャプチャされた点群の解像度を高めることにより、パイプラインの処理時間を短縮するなどの利点があります。
安価なデバイスでは解像度が低くなります。
実験では、FDSR モデルが処理時間の短縮という点で優れており、速度が重要なアプリケーションに適していることが実証されました。
一方、DKN モデルはより高い精度の結果を提供するため、精度を優先するアプリケーションにより適しています。

要約(オリジナル)

This paper focuses on increasing the resolution of depth maps obtained from 3D cameras using structured light technology. Two deep learning models FDSR and DKN are modified to work with high-resolution data, and data pre-processing techniques are implemented for stable training. The models are trained on our custom dataset of 1200 3D scans. The resulting high-resolution depth maps are evaluated using qualitative and quantitative metrics. The approach for depth map upsampling offers benefits such as reducing the processing time of a pipeline by first downsampling a high-resolution depth map, performing various processing steps at the lower resolution and upsampling the resulting depth map or increasing the resolution of a point cloud captured in lower resolution by a cheaper device. The experiments demonstrate that the FDSR model excels in terms of faster processing time, making it a suitable choice for applications where speed is crucial. On the other hand, the DKN model provides results with higher precision, making it more suitable for applications that prioritize accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google