Thermal-NeRF: Neural Radiance Fields from an Infrared Camera

要約

近年、Neural Radiance Fields (NeRF) は、非常に詳細な 3D ジオメトリと環境の外観をエンコードする際に大きな可能性を示しており、3D シーン再構築のための従来の明示的な表現に代わる有望な代替手段としての地位を確立しています。
ただし、RGB イメージングへの依存度は理想的な照明条件を前提としています。この前提は、不十分な照明や視覚的な障害物に悩まされるロボット アプリケーションでは満たされないことがよくあります。
この制限は、低照度の検出に優れ、そのような不利な状況下で強力な代替手段となる赤外線 (IR) カメラの機能を見落としています。
これらの問題に取り組むために、赤外線イメージングのみから NeRF の形式でボリューム シーン表現を推定する最初の方法である Thermal-NeRF を導入します。
IRイメージングの熱特性から導出された熱マッピングと構造熱制約を活用することで、私たちの方法は、RGBベースの方法では不十分な視覚的に劣化したシーンでNeRFを回復する比類のない熟練度を示しています。
私たちは広範な実験を行って、Thermal-NeRF が既存の方法と比較して優れた品質を達成できることを実証します。
さらに、私たちは IR ベースの NeRF アプリケーション用のデータセットを提供し、IR NeRF 再構築における将来の研究への道を開きます。

要約(オリジナル)

In recent years, Neural Radiance Fields (NeRFs) have demonstrated significant potential in encoding highly-detailed 3D geometry and environmental appearance, positioning themselves as a promising alternative to traditional explicit representation for 3D scene reconstruction. However, the predominant reliance on RGB imaging presupposes ideal lighting conditions: a premise frequently unmet in robotic applications plagued by poor lighting or visual obstructions. This limitation overlooks the capabilities of infrared (IR) cameras, which excel in low-light detection and present a robust alternative under such adverse scenarios. To tackle these issues, we introduce Thermal-NeRF, the first method that estimates a volumetric scene representation in the form of a NeRF solely from IR imaging. By leveraging a thermal mapping and structural thermal constraint derived from the thermal characteristics of IR imaging, our method showcasing unparalleled proficiency in recovering NeRFs in visually degraded scenes where RGB-based methods fall short. We conduct extensive experiments to demonstrate that Thermal-NeRF can achieve superior quality compared to existing methods. Furthermore, we contribute a dataset for IR-based NeRF applications, paving the way for future research in IR NeRF reconstruction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google