NeuroPump: Simultaneous Geometric and Color Rectification for Underwater Images

要約

水中画像修復は、水の屈折、吸収、散乱による幾何学的な歪みや色の歪みを取り除くことを目的としています。
これまでの研究は、色またはジオメトリのいずれかの復元に焦点を当てていましたが、私たちの知る限りでは、両方ではありませんでした。
ただし、実際には、2 つの修正に 1 つずつ対処するのは面倒な場合があります。
この論文では、あたかも水が汲み出されているかのように、水中の形状と色を同時に最適化および修正する自己監視型手法である NeuroPump を提案します。
重要なアイデアは、Neural Radiance Field (NeRF) パイプラインで屈折、吸収、散乱を明示的にモデル化することです。これにより、幾何学的補正と色補正を同時に実行するだけでなく、分離されたパラメーターを制御することで新しいビューと光学効果を合成できるようになります。
さらに、実際のペアのグラウンド トゥルース画像が不足しているという問題に対処するために、実際のペア (つまり、水の有無) の画像を含む水中 360 度ベンチマーク データセットを提案します。
私たちの方法は、量的にも質的にも他のベースラインよりも明らかに優れています。

要約(オリジナル)

Underwater image restoration aims to remove geometric and color distortions due to water refraction, absorption and scattering. Previous studies focus on restoring either color or the geometry, but to our best knowledge, not both. However, in practice it may be cumbersome to address the two rectifications one-by-one. In this paper, we propose NeuroPump, a self-supervised method to simultaneously optimize and rectify underwater geometry and color as if water were pumped out. The key idea is to explicitly model refraction, absorption and scattering in Neural Radiance Field (NeRF) pipeline, such that it not only performs simultaneous geometric and color rectification, but also enables to synthesize novel views and optical effects by controlling the decoupled parameters. In addition, to address issue of lack of real paired ground truth images, we propose an underwater 360 benchmark dataset that has real paired (i.e., with and without water) images. Our method clearly outperforms other baselines both quantitatively and qualitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google