Iterating the Transient Light Transport Matrix for Non-Line-of-Sight Imaging

要約

アクティブ イメージング システムは、制御可能な光源を使用してシーン内のさまざまな位置を連続的に照明し、その結果生じる時空間光輸送を飛行時間 (ToF) センサーで測定することにより、シーンの過渡光輸送マトリックス (TLTM) をサンプリングします。
時間分解非見通し線 (NLOS) イメージングでは、中間リレー表面の TLTM の一部を測定するアクティブ イメージング システムを採用し、この TLTM 内にエンコードされた光の間接反射を使用して「角の周りを見る」ことができます。
このような画像システムは、災害対応、遠隔監視、自律航法などのさまざまな分野に応用されています。
既存の NLOS イメージング システムは通常、完全な TLTM のサブセットを測定しますが、カスタマイズされたゲート付き単一光子アバランシェ ダイオード (SPAD) アレイ \cite{riccardo_fast-gated_2022} の開発により、測定空間全体をプローブすることが可能になりました。
この研究では、リレー表面上の完全な TLTM を効率的なアルゴリズムで処理して、隠れたシーンのさまざまな部分に計算によって焦点を合わせて照明を検出し、リレー表面を 2 次のアクティブ イメージング システムに変えることができることを実証します。
これらのアルゴリズムを使用すると、測定された 1 次 TLTM を反復処理して、\textbf{隠れたシーンの表面の 2 次 TLTM} を抽出できます。
NLOS イメージングにおける TLTM の 3 つのアプリケーションを紹介します: (1) 新しい照明によるシーンの再照明、(2) 隠れたシーンでの光輸送の直接コンポーネントと間接コンポーネントの分離、および (3) デュアル写真。
さらに、SPAD アレイにより光子の並列取得が可能になり、長い取得時間が効果的に軽減されることを経験的に示しています。

要約(オリジナル)

Active imaging systems sample the Transient Light Transport Matrix (TLTM) for a scene by sequentially illuminating various positions in this scene using a controllable light source, and then measuring the resulting spatiotemporal light transport with time of flight (ToF) sensors. Time-resolved Non-line-of-sight (NLOS) imaging employs an active imaging system that measures part of the TLTM of an intermediary relay surface, and uses the indirect reflections of light encoded within this TLTM to ‘see around corners’. Such imaging systems have applications in diverse areas such as disaster response, remote surveillance, and autonomous navigation. While existing NLOS imaging systems usually measure a subset of the full TLTM, development of customized gated Single Photon Avalanche Diode (SPAD) arrays \cite{riccardo_fast-gated_2022} has made it feasible to probe the full measurement space. In this work, we demonstrate that the full TLTM on the relay surface can be processed with efficient algorithms to computationally focus and detect our illumination in different parts of the hidden scene, turning the relay surface into a second-order active imaging system. These algorithms allow us to iterate on the measured, first-order TLTM, and extract a \textbf{second order TLTM for surfaces in the hidden scene}. We showcase three applications of TLTMs in NLOS imaging: (1) Scene Relighting with novel illumination, (2) Separation of direct and indirect components of light transport in the hidden scene, and (3) Dual Photography. Additionally, we empirically demonstrate that SPAD arrays enable parallel acquisition of photons, effectively mitigating long acquisition times.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google