WaterNeRF: Neural Radiance Fields for Underwater Scenes

要約

水中イメージングは​​、水産養殖、海洋インフラ検査、環境モニタリングなどの幅広い用途で海洋ロボットによって実行される重要なタスクです。
ただし、減衰や後方散乱などの水柱効果により、水中で撮影された画像の色と品質が大幅に変化します。
水の状態が変化し、これらの影響が範囲に依存するため、水中画像を復元することは困難な問題です。
これは、奥行き推定や 3D 再構築などの下流の知覚タスクに影響を与えます。
この論文では、神経放射フィールド (NeRF) の最先端技術を進歩させ、物理学に基づいた高密度深度推定と色補正を可能にします。
私たちが提案する WaterNeRF は、水中画像形成のための物理ベースのモデルのパラメーターを推定し、データ駆動型とモデルベースのハイブリッド ソリューションをもたらします。
シーンの構造と放射フィールドを決定した後、シーンの濃い深度とともに、劣化した水中画像と修正された水中画像の新しいビューを生成できます。
実際の水中データセット上で、提案された手法を定性的および定量的に評価します。

要約(オリジナル)

Underwater imaging is a critical task performed by marine robots for a wide range of applications including aquaculture, marine infrastructure inspection, and environmental monitoring. However, water column effects, such as attenuation and backscattering, drastically change the color and quality of imagery captured underwater. Due to varying water conditions and range-dependency of these effects, restoring underwater imagery is a challenging problem. This impacts downstream perception tasks including depth estimation and 3D reconstruction. In this paper, we advance state-of-the-art in neural radiance fields (NeRFs) to enable physics-informed dense depth estimation and color correction. Our proposed method, WaterNeRF, estimates parameters of a physics-based model for underwater image formation, leading to a hybrid data-driven and model-based solution. After determining the scene structure and radiance field, we can produce novel views of degraded as well as corrected underwater images, along with dense depth of the scene. We evaluate the proposed method qualitatively and quantitatively on a real underwater dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google