SPDGAN: A Generative Adversarial Network based on SPD Manifold Learning for Automatic Image Colorization

要約

このペーパーでは、グレースケールの画像を色付けされた画像に変換する自動色の問題に対処します。
最近のディープラーニングアプローチは、グレースケールの画像を自動的に色付けすることができます。
ただし、異なる色のスタイルを含むさまざまなシーンに関しては、色の特性を正確にキャプチャすることは困難です。
この作業では、色付けの結果の品質を改善する生成的敵対的ネットワーク（SPDGAN）を使用した対称陽性の明確な（SPD）マニホールド学習に基づく完全に自動カラー化アプローチを提案します。
SPDGANモデルは、2つの判別器とジェネレーターの間に敵対的なゲームを確立します。
後者は、変更がほとんどないResnetアーキテクチャに基づいています。
その目標は、残留接続を介してレイヤー全体で色情報を失うことなく、偽の色付き画像を生成することです。
次に、異なるドメインから2つの判別器を使用します。
最初のものは画像ピクセルドメインに充てられ、2番目のものは色の不整合を回避するのに役立つRiemannマニホールドドメインに捧げられます。
Places365およびCOCO積みのデータベースで広範な実験が行われ、SPDGANの各コンポーネントの効果をテストします。
さらに、最先端の方法との定量的および定性的比較は、視覚的にアーティファクトを少なくし、PSNR、SSIM、およびFID値の良好な結果を備えたより現実的な色付けされた画像を達成することにより、モデルの有効性を示しています。

要約(オリジナル)

This paper addresses the automatic colorization problem, which converts a gray-scale image to a colorized one. Recent deep-learning approaches can colorize automatically grayscale images. However, when it comes to different scenes which contain distinct color styles, it is difficult to accurately capture the color characteristics. In this work, we propose a fully automatic colorization approach based on Symmetric Positive Definite (SPD) Manifold Learning with a generative adversarial network (SPDGAN) that improves the quality of the colorization results. Our SPDGAN model establishes an adversarial game between two discriminators and a generator. The latter is based on ResNet architecture with few alterations. Its goal is to generate fake colorized images without losing color information across layers through residual connections. Then, we employ two discriminators from different domains. The first one is devoted to the image pixel domain, while the second one is to the Riemann manifold domain which helps to avoid color misalignment. Extensive experiments are conducted on the Places365 and COCO-stuff databases to test the effect of each component of our SPDGAN. In addition, quantitative and qualitative comparisons with state-of-the-art methods demonstrate the effectiveness of our model by achieving more realistic colorized images with less artifacts visually, and good results of PSNR, SSIM, and FID values.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google