PalGAN: Image Colorization with Palette Generative Adversarial Networks

要約

マルチモーダルのあいまいさと色のにじみは、カラー化では依然として困難です。
これらの問題に取り組むために、パレット推定と色注意を統合した新しいGANベースのカラー化アプローチPalGANを提案します。
マルチモダリティの問題を回避するために、最初に入力グレー画像から確率的パレットを推定し、次に生成モデルを通じてパレットで条件付けられた色の割り当てを行う新しいカラー化の定式化を提示します。
さらに、色のにじみを色の注意を払って処理します。
意味と強度の相関関係の両方を考慮して、色の親和性を研究します。
大規模な実験では、PalGAN は定量的評価と視覚的比較において最先端技術を凌駕し、注目に値する多様で対照的でエッジを維持した外観を提供します。
パレットの設計により、無関係なコンテキストでも画像間の色の転送が可能になります。

要約(オリジナル)

Multimodal ambiguity and color bleeding remain challenging in colorization. To tackle these problems, we propose a new GAN-based colorization approach PalGAN, integrated with palette estimation and chromatic attention. To circumvent the multimodality issue, we present a new colorization formulation that estimates a probabilistic palette from the input gray image first, then conducts color assignment conditioned on the palette through a generative model. Further, we handle color bleeding with chromatic attention. It studies color affinities by considering both semantic and intensity correlation. In extensive experiments, PalGAN outperforms state-of-the-arts in quantitative evaluation and visual comparison, delivering notable diverse, contrastive, and edge-preserving appearances. With the palette design, our method enables color transfer between images even with irrelevant contexts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google