UW-ProCCaps: UnderWater Progressive Colourisation with Capsules

要約

水中画像は海洋生物の状況を研究し理解するための基礎です。
私たちは、画像の保存に必要なメモリ領域を削減することに重点を置いていますが、収集フェーズでのメモリ領域の消費により、このフェーズの継続時間が制限されるため、より多くの画像収集キャンペーンが必要になります。
我々は、水中画像の発光チャンネルから色を再構成し、利用可能な記憶スペースの 2/3 を節約する新しい機械学習モデルを紹介します。
私たちのモデルは水中色の再構成に特化しており、エンコーダ-デコーダ アーキテクチャで構成されています。
エンコーダーは、畳み込みエンコーダーと、Web で教師化されたデータでトレーニングされた並列特殊分類器で構成されます。
エンコーダーとデコーダーは、カプセルのレイヤーを使用して、画像内のエンティティの特徴をキャプチャします。
色の再構成プロセスは、プログレッシブおよび生成敵対的トレーニング手順を思い出させます。
プログレッシブ トレーニングは、色の調整に焦点を当てた敵対的生成ルーチンの基礎を与え、画像に鮮やかな色と飽和した色を与え、画像を生き生きとさせます。
4 つのベンチマーク データセットでモデルを定性的および定量的に検証します。
これは、グレースケールの水中画像の色を再構成する最初の試みです。
4 つのベンチマーク データセットに関する広範な結果は、当社のソリューションが最先端 (SOTA) ソリューションを上回るパフォーマンスを示していることを示しています。
また、生成されたカラー化により、SOTA の拡張モデルと比較して画像の品質が向上することも実証します。

要約(オリジナル)

Underwater images are fundamental for studying and understanding the status of marine life. We focus on reducing the memory space required for image storage while the memory space consumption in the collecting phase limits the time lasting of this phase leading to the need for more image collection campaigns. We present a novel machine-learning model that reconstructs the colours of underwater images from their luminescence channel, thus saving 2/3 of the available storage space. Our model specialises in underwater colour reconstruction and consists of an encoder-decoder architecture. The encoder is composed of a convolutional encoder and a parallel specialised classifier trained with webly-supervised data. The encoder and the decoder use layers of capsules to capture the features of the entities in the image. The colour reconstruction process recalls the progressive and the generative adversarial training procedures. The progressive training gives the ground for a generative adversarial routine focused on the refining of colours giving the image bright and saturated colours which bring the image back to life. We validate the model both qualitatively and quantitatively on four benchmark datasets. This is the first attempt at colour reconstruction in greyscale underwater images. Extensive results on four benchmark datasets demonstrate that our solution outperforms state-of-the-art (SOTA) solutions. We also demonstrate that the generated colourisation enhances the quality of images compared to enhancement models at the SOTA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google