Towards Realistic Underwater Dataset Generation and Color Restoration

要約

水中画像からの真の色の回復は不適切な問題です。
これは、RGB カラー チャネルの広帯域減衰係数が、モデル化が困難なオブジェクトの範囲、反射率などに依存するためです。
また、水中の浮遊粒子による後方散乱もあります。
したがって、合成水中データセットで訓練された既存の深層学習ベースの色復元方法のほとんどは、実際の水中データではうまく機能しません。
これは、合成データが実際の状況を正確に表すことができないという事実に起因する可能性があります。
この問題に対処するために、画像から画像への変換ネットワークを使用して、合成水中ドメインから実際の水中ドメインに画像を変換することにより、合成ドメインと実際のドメインの間のギャップを埋めます。
このマルチモーダル ドメイン適応技術を使用して、さまざまな水中条件をキャプチャできるデータセットを作成します。
次に、ドメインに適応したデータセットでシンプルだが効果的な CNN ベースのネットワークをトレーニングして、色の復元を実行します。
コードと事前トレーニング済みのモデルは、https://github.com/nehamjain10/TRUDGCR でアクセスできます。

要約(オリジナル)

Recovery of true color from underwater images is an ill-posed problem. This is because the wide-band attenuation coefficients for the RGB color channels depend on object range, reflectance, etc. which are difficult to model. Also, there is backscattering due to suspended particles in water. Thus, most existing deep-learning based color restoration methods, which are trained on synthetic underwater datasets, do not perform well on real underwater data. This can be attributed to the fact that synthetic data cannot accurately represent real conditions. To address this issue, we use an image to image translation network to bridge the gap between the synthetic and real domains by translating images from synthetic underwater domain to real underwater domain. Using this multimodal domain adaptation technique, we create a dataset that can capture a diverse array of underwater conditions. We then train a simple but effective CNN based network on our domain adapted dataset to perform color restoration. Code and pre-trained models can be accessed at https://github.com/nehamjain10/TRUDGCR

arxiv情報

提供元, 利用サービス

arxiv.jp, Google