TeX-NeRF: Neural Radiance Fields from Pseudo-TeX Vision

要約

神経放射フィールド (NeRF) は、その卓越した視覚効果により大きな注目を集めています。
ただし、既存の NeRF 手法のほとんどは、可視光カメラでキャプチャされた RGB 画像から 3D シーンを再構成します。
暗闇、低照度、悪天候などの実際のシナリオでは、可視光カメラは効果がありません。
そこで、我々は、対象物質の放射率をアプリオリに導入し、擬似TeXビジョンを用いて赤外線画像を前処理し、温度(T)、放射率(e)、
シーンのテクスチャ (X) を、それぞれ HSV 色空間の彩度 (S)、色相 (H)、および値 (V) チャネルに変換します。
処理された画像を使用した新しいビューの合成により、優れた結果が得られました。
さらに、赤外線画像とそれに対応する疑似 TeX ビジョン画像で構成される最初のデータセットである 3D-TeX データセットを紹介します。
実験では、私たちの方法が高品質の RGB 画像で達成されるシーン再構成の品質と一致するだけでなく、シーン内のオブジェクトの正確な温度推定も提供できることを示しています。

要約(オリジナル)

Neural radiance fields (NeRF) has gained significant attention for its exceptional visual effects. However, most existing NeRF methods reconstruct 3D scenes from RGB images captured by visible light cameras. In practical scenarios like darkness, low light, or bad weather, visible light cameras become ineffective. Therefore, we propose TeX-NeRF, a 3D reconstruction method using only infrared images, which introduces the object material emissivity as a priori, preprocesses the infrared images using Pseudo-TeX vision, and maps the temperatures (T), emissivities (e), and textures (X) of the scene into the saturation (S), hue (H), and value (V) channels of the HSV color space, respectively. Novel view synthesis using the processed images has yielded excellent results. Additionally, we introduce 3D-TeX Datasets, the first dataset comprising infrared images and their corresponding Pseudo-TeX vision images. Experiments demonstrate that our method not only matches the quality of scene reconstruction achieved with high-quality RGB images but also provides accurate temperature estimations for objects in the scene.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google