SPColor: Semantic Prior Guided Exemplar-based Image Colorization

要約

タイトル：SPColor：意味的先行による例示ベースの画像カラー化

要約：
– 画像の例示ベースのカラー化は、カラー参照画像に基づいて対象のグレースケール画像をカラー化するものであり、正確なピクセルレベルの意味的対応を確立することが重要です。
– 従来の方法では参照画像全体を検索し、このタイプのグローバルなマッチングはミスマッチを起こしやすいという問題があります。
– この問題を克服するために、「SPColor」という意味的先行による例示ベースの画像カラー化フレームワークを提案します。
– 従来の方法とは異なり、SPColorはまず、意味的先行によるガイドの下で参照画像と対象画像のピクセルをいくつかの疑似クラスに粗く分類し、新たに設計された意味的先行による対応ネットワークを介して同じクラスのピクセル間でのみ対応を確立します。
– このように、異なる意味的クラス間の不適切な対応が明示的に除外され、ミスマッチが明らかに軽減されます。
– さらに、参照からの色をよりよく保存するために、類似性マスクパーセプチュアルロスが設計されています。
– SPColorは、無監督セグメンテーションモデルによって提供される意味的先行を利用しているため、追加の手動意味的注釈が不要です。
– 実験により、我々のモデルは公開データセットにおいて最新の状態にある手法を質的、量的に上回ることが示されています。

要約(オリジナル)

Exemplar-based image colorization aims to colorize a target grayscale image based on a color reference image, and the key is to establish accurate pixel-level semantic correspondence between these two images. Previous methods search for correspondence across the entire reference image, and this type of global matching is easy to get mismatch. We summarize the difficulties in two aspects: (1) When the reference image only contains a part of objects related to target image, improper correspondence will be established in unrelated regions. (2) It is prone to get mismatch in regions where the shape or texture of the object is easily confused. To overcome these issues, we propose SPColor, a semantic prior guided exemplar-based image colorization framework. Different from previous methods, SPColor first coarsely classifies pixels of the reference and target images to several pseudo-classes under the guidance of semantic prior, then the correspondences are only established locally between the pixels in the same class via the newly designed semantic prior guided correspondence network. In this way, improper correspondence between different semantic classes is explicitly excluded, and the mismatch is obviously alleviated. Besides, to better reserve the color from reference, a similarity masked perceptual loss is designed. Noting that the carefully designed SPColor utilizes the semantic prior provided by an unsupervised segmentation model, which is free for additional manual semantic annotations. Experiments demonstrate that our model outperforms recent state-of-the-art methods both quantitatively and qualitatively on public dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI