Flying with Photons: Rendering Novel Views of Propagating Light

要約

我々は、斬新な移動カメラ視点からシーン内を伝播する光のビデオを合成することを目的としたイメージングおよびニューラル レンダリング技術を紹介します。
私たちのアプローチは、ピコ秒レベルの時間解像度を持つこの種初の多視点ビデオ データセットをキャプチャするための新しい超高速イメージング セットアップに依存しています。
このデータセットと組み合わせて、過渡場に基づいた効率的な神経ボリューム レンダリング フレームワークを導入します。
このフィールドは、3D 点および 2D 方向から、超高速タイムスケールで時間変化する放射輝度を表す高次元の離散時間信号へのマッピングとして定義されます。
一時フィールドを使用したレンダリングでは、カメラへの光の伝播遅延によって引き起こされる視点依存の外観の変化など、光の有限速度による影響が自然に考慮されます。
散乱、鏡面反射、屈折、回折などのさまざまな複雑な効果をレンダリングします。
さらに、タイムワーピング手順を使用した視点依存の伝播遅延の除去、相対論的効果のレンダリング、光輸送の直接コンポーネントとグローバルコンポーネントのビデオ合成を実証します。

要約(オリジナル)

We present an imaging and neural rendering technique that seeks to synthesize videos of light propagating through a scene from novel, moving camera viewpoints. Our approach relies on a new ultrafast imaging setup to capture a first-of-its kind, multi-viewpoint video dataset with picosecond-level temporal resolution. Combined with this dataset, we introduce an efficient neural volume rendering framework based on the transient field. This field is defined as a mapping from a 3D point and 2D direction to a high-dimensional, discrete-time signal that represents time-varying radiance at ultrafast timescales. Rendering with transient fields naturally accounts for effects due to the finite speed of light, including viewpoint-dependent appearance changes caused by light propagation delays to the camera. We render a range of complex effects, including scattering, specular reflection, refraction, and diffraction. Additionally, we demonstrate removing viewpoint-dependent propagation delays using a time warping procedure, rendering of relativistic effects, and video synthesis of direct and global components of light transport.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google