Physics-Aware Semi-Supervised Underwater Image Enhancement

要約

水中画像は通常、水域の伝送媒体による劣化を受けます。
この問題に対処するために、従来の事前ベースのアプローチと深層学習ベースの手法の両方が使用されてきました。
ただし、前者の柔軟性のない仮定により、さまざまな水中シーンを処理する際の有効性が損なわれることが多く、また、後者の目に見えない画像への一般化は、データが不十分なために通常弱められます。
この研究では、物理ベースの水中画像形成モデル (IFM) と水中画像強化 (UIE) の深層学習技術の両方を活用します。
この目的を達成するために、我々は、透過推定ストリーム（T-Stream）と周囲光推定ストリーム（A-Stream）で構成される、新しい物理認識デュアルストリーム水中画像強化ネットワーク、つまりPA-UIENetを提案します。
このネットワークは、IFM の劣化パラメータを明示的に推定することにより、UIE タスクを実行します。
また、データ不足の問題に対処するために、ラベル付き画像とラベルなし画像の両方を活用する、IFM からインスピレーションを得た半教師あり学習フレームワークも採用しています。
私たちの方法は、劣化推定および UIE タスクにおける 5 つのテスト セットにわたる 8 つのベースラインよりも優れたパフォーマンス、または少なくとも同等のパフォーマンスを示します。
これは、劣化をモデル化できるだけでなく、多様な水中シーンの特徴を学習できるためであると考えられます。

要約(オリジナル)

Underwater images normally suffer from degradation due to the transmission medium of water bodies. Both traditional prior-based approaches and deep learning-based methods have been used to address this problem. However, the inflexible assumption of the former often impairs their effectiveness in handling diverse underwater scenes, while the generalization of the latter to unseen images is usually weakened by insufficient data. In this study, we leverage both the physics-based underwater Image Formation Model (IFM) and deep learning techniques for Underwater Image Enhancement (UIE). To this end, we propose a novel Physics-Aware Dual-Stream Underwater Image Enhancement Network, i.e., PA-UIENet, which comprises a Transmission Estimation Steam (T-Stream) and an Ambient Light Estimation Stream (A-Stream). This network fulfills the UIE task by explicitly estimating the degradation parameters of the IFM. We also adopt an IFM-inspired semi-supervised learning framework, which exploits both the labeled and unlabeled images, to address the issue of insufficient data. Our method performs better than, or at least comparably to, eight baselines across five testing sets in the degradation estimation and UIE tasks. This should be due to the fact that it not only can model the degradation but also can learn the characteristics of diverse underwater scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google