Towards Vivid and Diverse Image Colorization with Generative Color Prior

要約

近年、カラー化はますます関心を集めている。古典的な参照ベースの手法は、通常、もっともらしい結果を得るために外部のカラー画像に依存している。そのような模範的な画像を検索するために、大規模な画像データベースやオンライン検索エンジンが必然的に必要となる。最近のディープラーニングに基づく手法は，低コストで画像を自動的にカラー化することができる．しかし、満足のいかないアーチファクトや支離滅裂な色彩が常に付きまとう。本研究では、Generative Adversarial Networks (GAN)に内包された豊富で多様な色情報を活用し、自動色付けを行うGCP-Colorizationを提案する。具体的には、まず、GANエンコーダを介して、一致した特徴（模範解答に類似）を「検索」し、次に、これらの特徴を特徴変調を用いた色付け処理に取り込む。強力な生成色事前分布（GCP）と繊細な設計により、我々のGCP-Colorizationは1回のフォワードパスで鮮やかな色を生成することができました。また、GANの潜在的なコードを変更することで、様々な結果を得ることができる利便性の高いソフトウェアです。GCP-Colorizationは、GANの解釈可能な制御という長所も継承しており、GANの潜在空間を歩くことで制御可能で滑らかな遷移を実現することができます。GCP-Colorizationは、広範な実験とユーザスタディにより、従来よりも優れた性能を達成することを実証しています。コードは https://github.com/ToTheBeginning/GCP-Colorization で公開されています。

要約(オリジナル)

Colorization has attracted increasing interest in recent years. Classic reference-based methods usually rely on external color images for plausible results. A large image database or online search engine is inevitably required for retrieving such exemplars. Recent deep-learning-based methods could automatically colorize images at a low cost. However, unsatisfactory artifacts and incoherent colors are always accompanied. In this work, we propose GCP-Colorization that leverages the rich and diverse color priors encapsulated in a pretrained Generative Adversarial Networks (GAN) for automatic colorization. Specifically, we first ‘retrieve’ matched features (similar to exemplars) via a GAN encoder and then incorporate these features into the colorization process with feature modulations. Thanks to the powerful generative color prior (GCP) and delicate designs, our GCP-Colorization could produce vivid colors with a single forward pass. Moreover, it is highly convenient to obtain diverse results by modifying GAN latent codes. GCP-Colorization also inherits the merit of interpretable controls of GANs and could attain controllable and smooth transitions by walking through GAN latent space. Extensive experiments and user studies demonstrate that GCP-Colorization achieves superior performance than previous works. Codes are available at https://github.com/ToTheBeginning/GCP-Colorization.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL