Cross-Spectral Neural Radiance Fields

要約

X-NeRF は、Neural Radiance Fields の定式化に基づいて、異なる光スペクトル感度を持つカメラからキャプチャされた画像を与えられたクロススペクトル シーン表現を学習する新しい方法です。
X-NeRF は、トレーニング中にスペクトル全体でカメラ ポーズを最適化し、Normalized Cross-Device Coordinates (NXDC) を利用して、位置合わせされ、同じ解像度で任意の視点からさまざまなモダリティの画像をレンダリングします。
カラー画像、マルチスペクトル画像、赤外線画像を特徴とする 16 の前向きシーンでの実験により、クロススペクトル シーン表現のモデリングにおける X-NeRF の有効性が確認されました。

要約(オリジナル)

We propose X-NeRF, a novel method to learn a Cross-Spectral scene representation given images captured from cameras with different light spectrum sensitivity, based on the Neural Radiance Fields formulation. X-NeRF optimizes camera poses across spectra during training and exploits Normalized Cross-Device Coordinates (NXDC) to render images of different modalities from arbitrary viewpoints, which are aligned and at the same resolution. Experiments on 16 forward-facing scenes, featuring color, multi-spectral and infrared images, confirm the effectiveness of X-NeRF at modeling Cross-Spectral scene representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google