Self-Calibrating, Fully Differentiable NLOS Inverse Rendering

要約

既存の時間分解非視線（NLOS）イメージング手法は、可視リレー表面で測定された間接照明の光路を反転することによって隠れたシーンを再構成します。
これらの方法は、反転の曖昧さとキャプチャ ノイズにより再構築アーティファクトが発生する傾向がありますが、これらは通常、フィルタリング関数とパラメータを手動で選択することで軽減されます。
時間領域と周波数領域の両方で動作しながら、測定された照明のみを入力として使用し、隠れたシーンの再構築中にイメージング パラメーターを自己調整する完全微分可能なエンドツーエンド NLOS 逆レンダリング パイプラインを導入します。
私たちのパイプラインは、NLOS 体積強度から隠れたシーンの幾何学的表現を抽出し、微分可能な過渡レンダリングを使用して、そのような幾何学的情報によって生成される中継壁の時間分解照明を推定します。
次に、勾配降下法を使用して、シミュレーションした時間分解照明と測定した照明の間の誤差を最小限に抑えてイメージング パラメーターを最適化します。
当社のエンドツーエンドの微分可能なパイプラインは、回折ベースの体積 NLOS 再構成と経路空間光輸送およびシンプルなレイ マーチング技術を組み合わせて、隠れたシーンの詳細で密な表面点と法線のセットを抽出します。
かなりのノイズレベルの下でも、ジオメトリとアルベドを一貫して再構築するこの方法の堅牢性を実証します。

要約(オリジナル)

Existing time-resolved non-line-of-sight (NLOS) imaging methods reconstruct hidden scenes by inverting the optical paths of indirect illumination measured at visible relay surfaces. These methods are prone to reconstruction artifacts due to inversion ambiguities and capture noise, which are typically mitigated through the manual selection of filtering functions and parameters. We introduce a fully-differentiable end-to-end NLOS inverse rendering pipeline that self-calibrates the imaging parameters during the reconstruction of hidden scenes, using as input only the measured illumination while working both in the time and frequency domains. Our pipeline extracts a geometric representation of the hidden scene from NLOS volumetric intensities and estimates the time-resolved illumination at the relay wall produced by such geometric information using differentiable transient rendering. We then use gradient descent to optimize imaging parameters by minimizing the error between our simulated time-resolved illumination and the measured illumination. Our end-to-end differentiable pipeline couples diffraction-based volumetric NLOS reconstruction with path-space light transport and a simple ray marching technique to extract detailed, dense sets of surface points and normals of hidden scenes. We demonstrate the robustness of our method to consistently reconstruct geometry and albedo, even under significant noise levels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google