Towards 3D Vision with Low-Cost Single-Photon Cameras

要約

小型でエネルギー効率が高く、低コストの単一光子カメラによる測定に基づいて、任意のランバーシアン物体の 3D 形状を再構成する方法を提案します。
これらのカメラは、時間分解イメージ センサーとして動作し、拡散光の非常に速いパルスでシーンを照明し、シーンから戻ってくるパルスの形状を高い時間解像度で記録します。
我々は、この画像形成プロセスをモデル化し、その非理想性を考慮し、ニューラル レンダリングを適応させて、既知の姿勢を持つ空間的に分散されたセンサーのセットから 3D ジオメトリを再構築することを提案します。
私たちのアプローチがシミュレートされたデータから複雑な 3D 形状を正常に復元できることを示します。
さらに、市販の近接センサーからの測定値を利用して、現実世界のキャプチャから 3D オブジェクトを再構成することを実証します。
私たちの研究は、画像ベースのモデリングとアクティブ レンジ スキャンの間のつながりを描き、単一光子カメラによる 3D ビジョンへの一歩となります。

要約(オリジナル)

We present a method for reconstructing 3D shape of arbitrary Lambertian objects based on measurements by miniature, energy-efficient, low-cost single-photon cameras. These cameras, operating as time resolved image sensors, illuminate the scene with a very fast pulse of diffuse light and record the shape of that pulse as it returns back from the scene at a high temporal resolution. We propose to model this image formation process, account for its non-idealities, and adapt neural rendering to reconstruct 3D geometry from a set of spatially distributed sensors with known poses. We show that our approach can successfully recover complex 3D shapes from simulated data. We further demonstrate 3D object reconstruction from real-world captures, utilizing measurements from a commodity proximity sensor. Our work draws a connection between image-based modeling and active range scanning and is a step towards 3D vision with single-photon cameras.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google