Enhancing Underwater Imaging with 4-D Light Fields: Dataset and Method

要約

この論文では、光の吸収、散乱、その他の課題に悩まされる水中イメージングを強化するために、4 次元ライト フィールド (LF) の領域を詳しく掘り下げます。
従来の 2-D RGB イメージングとは対照的に、4-D LF イメージングは​​、複数の視点からシーンをキャプチャすることに優れており、それによって間接的に幾何学的情報を埋め込みます。
この固有の特性により、水中イメージングに関連する課題に効果的に対処できると期待されています。
4-D LF 画像に存在する明示的および暗黙的な深度キューの両方を活用することで、水中 4-D LF 画像の強化と深度推定のための進歩的で相互に強化するフレームワークを提案します。
具体的には、私たちのフレームワークは、推定された深度情報と暗黙的な深度関連の動的畳み込みカーネルを明示的に利用して、出力特徴を調整します。
フレームワーク全体がこの複雑なタスクを分解し、強化された画像と深度情報を繰り返し最適化して、最適な強化結果を徐々に達成します。
さらに重要なのは、学習ベースの手法の定量的評価と教師ありトレーニング用に、75 の水中シーンと 3675 ​​の高解像度 2K ペアで構成される最初の 4D LF ベースの水中画像データセットを構築したことです。
活気に満ちた変化に富んだ水中シーンを作成するために、さまざまなオブジェクトで水中環境を構築し、いくつかのタイプの劣化を採用します。
広範な実験を通じて、従来の 2-D RGB ベースのアプローチと比較した 4-D LF ベースの水中イメージングの可能性と優位性を示します。
さらに、私たちの方法は色の偏りを効果的に補正し、最先端のパフォーマンスを実現します。
データセットとコードは https://github.com/linlos1234/LFUIE で公開されます。

要約(オリジナル)

In this paper, we delve into the realm of 4-D light fields (LFs) to enhance underwater imaging plagued by light absorption, scattering, and other challenges. Contrasting with conventional 2-D RGB imaging, 4-D LF imaging excels in capturing scenes from multiple perspectives, thereby indirectly embedding geometric information. This intrinsic property is anticipated to effectively address the challenges associated with underwater imaging. By leveraging both explicit and implicit depth cues present in 4-D LF images, we propose a progressive, mutually reinforcing framework for underwater 4-D LF image enhancement and depth estimation. Specifically, our framework explicitly utilizes estimated depth information alongside implicit depth-related dynamic convolutional kernels to modulate output features. The entire framework decomposes this complex task, iteratively optimizing the enhanced image and depth information to progressively achieve optimal enhancement results. More importantly, we construct the first 4-D LF-based underwater image dataset for quantitative evaluation and supervised training of learning-based methods, comprising 75 underwater scenes and 3675 high-resolution 2K pairs. To craft vibrant and varied underwater scenes, we build underwater environments with various objects and adopt several types of degradation. Through extensive experimentation, we showcase the potential and superiority of 4-D LF-based underwater imaging vis-a-vis traditional 2-D RGB-based approaches. Moreover, our method effectively corrects color bias and achieves state-of-the-art performance. The dataset and code will be publicly available at https://github.com/linlos1234/LFUIE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google