SyreaNet: A Physically Guided Underwater Image Enhancement Framework Integrating Synthetic and Real Images

要約

水中画像強調 (UIE) は、高レベルの視覚関連の水中タスクに不可欠です。
学習ベースの UIE メソッドは近年目覚ましい成果を上げていますが、さまざまな水中条件に一貫して対処することは依然として困難です。これは、次のことが原因である可能性があります。
エラー;
2) 合成画像のみでトレーニングされたネットワークは、実際の水中画像にうまく一般化するのが難しい場合があります。
この作業では、改訂された水中画像形成モデルと新しいドメイン適応 (DA) 戦略のガイダンスの下で、合成データと実際のデータの両方を統合する UIE のフレームワーク \textit{SyreaNet} を初めて提案します。
最初に、修正モデルに基づく水中画像合成モジュールを提案します。
次に、合成画像と実際の水中画像の両方を組み合わせて鮮明な画像を予測するように、物理的に導かれたもつれを解くネットワークが設計されています。
ドメイン内およびドメイン間のギャップは、ドメインの知識を完全に交換することで解消されます。
広範な実験により、定性的および定量的に、他の最先端の (SOTA) 学習ベースの UIE メソッドに対するフレームワークの優位性が実証されています。
コードとデータセットは、https://github.com/RockWenJJ/SyreaNet.git で公開されています。

要約(オリジナル)

Underwater image enhancement (UIE) is vital for high-level vision-related underwater tasks. Although learning-based UIE methods have made remarkable achievements in recent years, it’s still challenging for them to consistently deal with various underwater conditions, which could be caused by: 1) the use of the simplified atmospheric image formation model in UIE may result in severe errors; 2) the network trained solely with synthetic images might have difficulty in generalizing well to real underwater images. In this work, we, for the first time, propose a framework \textit{SyreaNet} for UIE that integrates both synthetic and real data under the guidance of the revised underwater image formation model and novel domain adaptation (DA) strategies. First, an underwater image synthesis module based on the revised model is proposed. Then, a physically guided disentangled network is designed to predict the clear images by combining both synthetic and real underwater images. The intra- and inter-domain gaps are abridged by fully exchanging the domain knowledge. Extensive experiments demonstrate the superiority of our framework over other state-of-the-art (SOTA) learning-based UIE methods qualitatively and quantitatively. The code and dataset are publicly available at https://github.com/RockWenJJ/SyreaNet.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google