SUCRe: Leveraging Scene Structure for Underwater Color Restoration

要約

水中の画像は、光センサーに到達する前に光線が通過する媒体の物理的特性によって変化します。
散乱と波長に依存する吸収は、観測された要素から画像平面までの距離に応じて、キャプチャされた色を大幅に変更します。
この論文では、水が光の伝播に影響を与えていないかのように、シーンの画像を復元することを目指しています。
シーンの 3D 構造を利用して水中の色を復元する新しい方法である SUCRe を紹介します。
複数の画像のポイントをたどり、センサーまでのさまざまな距離でそれらの強度を追跡することにより、水中画像形成モデルのパラメーターの最適化を制限し、減衰されていないピクセル強度を取得します。
現実世界のシナリオから取得した 3 つの水中データセットと 1 つの合成データセットを使用して、自然光から深海環境までのさまざまなシナリオで、アプローチの広範な定量的および定性的分析を行います。
また、提案されたアプローチのパフォーマンスを、さまざまな既存の最先端の方法のパフォーマンスと比較します。
結果は、さまざまな客観的指標にわたって複数のビューを活用することの一貫した利点を示しています。
コードは https://github.com/clementinboittiaux/sucre で公開されています。

要約(オリジナル)

Underwater images are altered by the physical characteristics of the medium through which light rays pass before reaching the optical sensor. Scattering and wavelength-dependent absorption significantly modify the captured colors depending on the distance of observed elements to the image plane. In this paper, we aim to recover an image of the scene as if the water had no effect on light propagation. We introduce SUCRe, a new method that exploits the scene’s 3D structure for underwater color restoration. By following points in multiple images and tracking their intensities at different distances to the sensor, we constrain the optimization of the parameters in an underwater image formation model and retrieve unattenuated pixel intensities. We conduct extensive quantitative and qualitative analyses of our approach in a variety of scenarios ranging from natural light to deep-sea environments using three underwater datasets acquired from real-world scenarios and one synthetic dataset. We also compare the performance of the proposed approach with that of a wide range of existing state-of-the-art methods. The results demonstrate a consistent benefit of exploiting multiple views across a spectrum of objective metrics. Our code is publicly available at https://github.com/clementinboittiaux/sucre.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google