Beyond NeRF Underwater: Learning Neural Reflectance Fields for True Color Correction of Marine Imagery

要約

水中画像では、光と水の相互作用の結果として歪んだ色が表示されることが多く、これが海洋生物学や地理学における底生環境の研究を複雑にしています。
本研究では、媒体とニューラルシーン表現の効果を共同学習することで、水中画像の真の色（アルベド）を復元するアルゴリズムを提案します。
私たちのアプローチは、距離による光の減衰と後方散乱光の組み合わせとして水の影響をモデル化します。
提案された神経シーン表現は、水中環境のアルベド、法線、体積密度を学習する神経反射場モデルに基づいています。
ロジスティック回帰モデルを導入してシーンから水を分離し、トレーニング中に明確な光物理学を適用します。
私たちの方法では、いくつかの近似を採用することで水中の複雑な後方散乱効果を推定する必要がなくなり、トレーニング中のサンプリング効率と数値安定性が向上します。
提案された手法は、水中光効果をエンドツーエンドの微分可能性を備えたボリューム レンダリング フレームワークに統合します。
合成データと実世界データの両方に関する実験結果は、私たちの方法が水中画像から真の色を効果的に復元し、色の一貫性の点で既存のアプローチを上回るパフォーマンスを示していることを示しています。

要約(オリジナル)

Underwater imagery often exhibits distorted coloration as a result of light-water interactions, which complicates the study of benthic environments in marine biology and geography. In this research, we propose an algorithm to restore the true color (albedo) in underwater imagery by jointly learning the effects of the medium and neural scene representations. Our approach models water effects as a combination of light attenuation with distance and backscattered light. The proposed neural scene representation is based on a neural reflectance field model, which learns albedos, normals, and volume densities of the underwater environment. We introduce a logistic regression model to separate water from the scene and apply distinct light physics during training. Our method avoids the need to estimate complex backscatter effects in water by employing several approximations, enhancing sampling efficiency and numerical stability during training. The proposed technique integrates underwater light effects into a volume rendering framework with end-to-end differentiability. Experimental results on both synthetic and real-world data demonstrate that our method effectively restores true color from underwater imagery, outperforming existing approaches in terms of color consistency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google