Seafloor-Invariant Caustics Removal from Underwater Imagery

要約

水中イメージング カメラで海底をマッピングすることは、海洋工学、地質学、地形学、考古学、生物学などのさまざまなアプリケーションにとって非常に重要です。
浅瀬の場合、水中イメージングの課題の中で、コースティクス、つまり、波状の表面によって屈折される光線の投影から生じる複雑な物理現象が、おそらく最も重要なものです。
コースティクスは、水中イメージング キャンペーン中の主な要因であり、画質を大幅に低下させ、海底の 2D モザイク化または 3D 再構成に深刻な影響を与えます。
この作業では、浅瀬の水中画像に対するコースティクスの放射効果を補正するための新しい方法を提案します。
最先端技術とは対照的に、開発された方法は、実際のピクセル情報を使用して画像を修正し、あらゆるアナグリフの海底と川底を処理できるため、画像マッチングと 3D 再構成プロセスが改善されます。
特に、開発された方法は、画像ピクセルを「非コースティクス」と「コースティクス」に分類するためにディープラーニング アーキテクチャを採用しています。
次に、シーンの 3D ジオメトリを利用して、重複する水中画像間で適切なカラー値を転送することにより、ピクセル単位の補正を実現します。
さらに、現在のギャップを埋めるために、公開されている実世界のコースティクス データセット、つまり R-CAUSTIC を収集し、注釈を付け、構造化しました。
全体として、実験結果と検証に基づいて、開発された方法論は、コースティクスの検出とその強度の再構築の両方において非常に有望です。

要約(オリジナル)

Mapping the seafloor with underwater imaging cameras is of significant importance for various applications including marine engineering, geology, geomorphology, archaeology and biology. For shallow waters, among the underwater imaging challenges, caustics i.e., the complex physical phenomena resulting from the projection of light rays being refracted by the wavy surface, is likely the most crucial one. Caustics is the main factor during underwater imaging campaigns that massively degrade image quality and affect severely any 2D mosaicking or 3D reconstruction of the seabed. In this work, we propose a novel method for correcting the radiometric effects of caustics on shallow underwater imagery. Contrary to the state-of-the-art, the developed method can handle seabed and riverbed of any anaglyph, correcting the images using real pixel information, thus, improving image matching and 3D reconstruction processes. In particular, the developed method employs deep learning architectures in order to classify image pixels to ‘non-caustics’ and ‘caustics’. Then, exploits the 3D geometry of the scene to achieve a pixel-wise correction, by transferring appropriate color values between the overlapping underwater images. Moreover, to fill the current gap, we have collected, annotated and structured a real-world caustic dataset, namely R-CAUSTIC, which is openly available. Overall, based on the experimental results and validation the developed methodology is quite promising in both detecting caustics and reconstructing their intensity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google