Passive Non-Line-of-Sight Imaging with Light Transport Modulation

要約

パッシブ非見通し線 (NLOS) イメージングは​​、視界の外にある物体をイメージングできるため、近年急速に発展しています。
条件を変更するとイメージングモデルが異なるため、光輸送条件はこのタスクにおいて重要な役割を果たします。
既存の学習ベースの NLOS 手法は通常、さまざまな光輸送条件に合わせて独立したモデルをトレーニングしますが、これは計算効率が悪く、モデルの実用性が損なわれます。
この研究では、単一のネットワークで複数の光輸送条件を効果的に処理する新しいパッシブ NLOS イメージング手法である NLOS-LTM を提案します。
これは、投影画像から潜在的な光輸送表現を推測し、この表現を使用して投影画像から隠れた画像を再構成するネットワークを変調することによって実現します。
光輸送エンコーダとベクトル量子化器をトレーニングして、光輸送表現を取得します。
この表現をさらに調整するために、トレーニング中に再構成ネットワークと再投影ネットワークの両方を共同で学習します。
一連の光伝送変調ブロックを使用して、共同でトレーニングされた 2 つのネットワークをマルチスケールで変調します。
大規模なパッシブ NLOS データセットに対する広範な実験により、提案された方法の優位性が実証されました。
コードは https://github.com/JerryOctopus/NLOS-LTM で入手できます。

要約(オリジナル)

Passive non-line-of-sight (NLOS) imaging has witnessed rapid development in recent years, due to its ability to image objects that are out of sight. The light transport condition plays an important role in this task since changing the conditions will lead to different imaging models. Existing learning-based NLOS methods usually train independent models for different light transport conditions, which is computationally inefficient and impairs the practicality of the models. In this work, we propose NLOS-LTM, a novel passive NLOS imaging method that effectively handles multiple light transport conditions with a single network. We achieve this by inferring a latent light transport representation from the projection image and using this representation to modulate the network that reconstructs the hidden image from the projection image. We train a light transport encoder together with a vector quantizer to obtain the light transport representation. To further regulate this representation, we jointly learn both the reconstruction network and the reprojection network during training. A set of light transport modulation blocks is used to modulate the two jointly trained networks in a multi-scale way. Extensive experiments on a large-scale passive NLOS dataset demonstrate the superiority of the proposed method. The code is available at https://github.com/JerryOctopus/NLOS-LTM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google