UW-CVGAN: UnderWater Image Enhancement with Capsules Vectors Quantization

要約

水中画像の劣化は、波長に依存する光の減衰、散乱、およびそれらがキャプチャされる水の種類の多様性によるものです。
ディープ ニューラル ネットワークはこの分野で一歩を踏み出し、水中画像の向上を実現できる自律モデルを提供します。
このタスクのために、VQGAN からの離散特徴量子化パラダイムに基づく Underwater Capsules Vector GAN UWCVGAN を紹介します。
提案された UWCVGAN は、画像を潜在表現に圧縮するエンコード ネットワークと、唯一の潜在表現から画像の強調を再構築できるデコード ネットワークを組み合わせます。
VQGAN とは対照的に、UWCVGAN はカプセル層のクラスタ化機能を利用して特徴の量子化を実現し、モデルを完全にトレーニング可能にし、管理を容易にします。
このモデルは、高品質で細部まで強化された水中画像を取得します。
さらに、訓練されたエンコーダーはデコーダーから独立しており、画像に必要なメモリ空間を $3\times$ の係数で削減する圧縮アルゴリズムとしてコレクターに埋め込むことができます。
\myUWCVGAN{ } は、ベンチマーク データセットの定量的および定性的な分析で検証されており、最新技術と比較したメトリクスの結果を提示しています。

要約(オリジナル)

The degradation in the underwater images is due to wavelength-dependent light attenuation, scattering, and to the diversity of the water types in which they are captured. Deep neural networks take a step in this field, providing autonomous models able to achieve the enhancement of underwater images. We introduce Underwater Capsules Vectors GAN UWCVGAN based on the discrete features quantization paradigm from VQGAN for this task. The proposed UWCVGAN combines an encoding network, which compresses the image into its latent representation, with a decoding network, able to reconstruct the enhancement of the image from the only latent representation. In contrast with VQGAN, UWCVGAN achieves feature quantization by exploiting the clusterization ability of capsule layer, making the model completely trainable and easier to manage. The model obtains enhanced underwater images with high quality and fine details. Moreover, the trained encoder is independent of the decoder giving the possibility to be embedded onto the collector as compressing algorithm to reduce the memory space required for the images, of factor $3\times$. \myUWCVGAN{ }is validated with quantitative and qualitative analysis on benchmark datasets, and we present metrics results compared with the state of the art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google