Beyond NeRF Underwater: Learning Neural Reflectance Fields for True Color Correction of Marine Imagery

要約

タイトル: マリンイメージの真のカラー補正のためのニューラル反射フィールドの学習 Beyond NeRF Underwater

要約:
– 水中の画像は、光-水の相互作用の結果として歪んだ色調を示すことが多く、海洋生物学や地理学における底生環境の研究を複雑にしている。
– 本研究では、媒体の影響とニューラルシーン表現の影響を共同で学習することにより、水中画像の真の色（アルベド）を復元するアルゴリズムを提案する。
– 当社のアプローチでは、水の効果を距離と散乱光の光減衰の組み合わせとしてモデル化しています。
– 提案されたニューラルシーン表現は、ニューラル反射フィールドモデルに基づいており、水中環境のアルベド、法線、体積密度を学習します。
– 水とシーンを分離するためのロジスティック回帰モデルを導入し、トレーニング中に異なる光学物理学を適用します。
– 当社の手法は、水中での複雑なバックスキャッタ効果を推定する必要のないいくつかの近似を使用しており、トレーニング中のサンプリング効率と数値安定性を向上させています。
– 提案された技術は、水中光学効果をボリュームレンダリングフレームワークに統合し、エンドツーエンドで異なる可能性があります。
– 合成データと実世界データの両方での実験結果は、当社の手法が既存の手法よりも色の一貫性に優れた水中イメージの真の色を効果的に復元することを示しています。

要約(オリジナル)

Underwater imagery often exhibits distorted coloration as a result of light-water interactions, which complicates the study of benthic environments in marine biology and geography. In this research, we propose an algorithm to restore the true color (albedo) in underwater imagery by jointly learning the effects of the medium and neural scene representations. Our approach models water effects as a combination of light attenuation with distance and backscattered light. The proposed neural scene representation is based on a neural reflectance field model, which learns albedos, normals, and volume densities of the underwater environment. We introduce a logistic regression model to separate water from the scene and apply distinct light physics during training. Our method avoids the need to estimate complex backscatter effects in water by employing several approximations, enhancing sampling efficiency and numerical stability during training. The proposed technique integrates underwater light effects into a volume rendering framework with end-to-end differentiability. Experimental results on both synthetic and real-world data demonstrate that our method effectively restores true color from underwater imagery, outperforming existing approaches in terms of color consistency.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI