Radiance Fields from Photons

要約

神経放射輝度フィールド (NeRF) は、複数の視点からキャプチャされた画像のコレクションから高品質のビューを合成するための事実上のアプローチとなっています。
しかし、低照度、高ダイナミックレンジ、または急速な動きなど、厳しい条件下で野外で画像を撮影する場合には、顕著なアーティファクトを伴う不鮮明な再構成につながる多くの問題が残ります。
この研究では、単一光子カメラ (SPC) を使用して個々の光子の粒度でトレーニングされる新しいクラスの神経放射フィールドである量子放射フィールドを導入します。
私たちは、SPC によってキャプチャされた型破りで確率的かつ高速なバイナリ フレーム シーケンスから放射輝度フィールドを構築し、密なカメラのポーズを推定するための理論と実践的な計算技術を開発します。
私たちは、シミュレーションと SPC ハードウェア プロトタイプの両方を介して、高速動作下、低照度下、および極端なダイナミック レンジ設定における高忠実度の再構成を実証します。

要約(オリジナル)

Neural radiance fields, or NeRFs, have become the de facto approach for high-quality view synthesis from a collection of images captured from multiple viewpoints. However, many issues remain when capturing images in-the-wild under challenging conditions, such as low light, high dynamic range, or rapid motion leading to smeared reconstructions with noticeable artifacts. In this work, we introduce quanta radiance fields, a novel class of neural radiance fields that are trained at the granularity of individual photons using single-photon cameras (SPCs). We develop theory and practical computational techniques for building radiance fields and estimating dense camera poses from unconventional, stochastic, and high-speed binary frame sequences captured by SPCs. We demonstrate, both via simulations and a SPC hardware prototype, high-fidelity reconstructions under high-speed motion, in low light, and for extreme dynamic range settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google