SPColor: Semantic Prior Guided Exemplar-based Image Colorization

要約

タイトル：SPColor：意味プライオリティの指導下での類推型画像カラリゼーション

要約：

– Exemplar-based image colorization はターゲットグレースケール画像を元に、カラーリファレンス画像を利用してカラーリゼーションすることを目的としています。
– この手法では、2つの画像間で正確なピクセルレベルの意味的対応を確立することが鍵となります。
– 以前の手法では、参照画像全体を検索して、対応を見つけることが多かったが、これは対応が合わなくなることが多かったと指摘しています。
– これには2つの問題があります。
– 参照画像に対象画像に関連するオブジェクトが一部しか含まれていない場合、関連のない領域に不適切な対応が確立されます。
– オブジェクトの形やテクスチャが誤認識されやすい領域で、対応が合わなくなることがあります。
– この問題を解決するために、意味プライオリティの指導下での類推型画像カラリゼーションフレームワークであるSPColorを提案しています。
– 従来の方法とは異なり、SPColorはセグメンテーションモデルによって提供される意味優先度を利用して、参照画像とターゲット画像のピクセルをいくつかの疑似クラスに粗く分類し、新しく設計された意味プライオリティによってガイドされた対応ネットワークによって、同じクラスのピクセルのみに対応を確立します。
– このようにして、異なる意味クラス間の不適切な対応が明示的に除外され、対応不良が軽減されます。
– また、参照から色をよりよく保持するために、類似性マスクされた知覚的損失が設計されています。
– 精心に設計されたSPColorは、追加の手動意味注釈に無料で提供される非教師ありセグメンテーションモデルによって提供される意味優先度を利用することに注意してください。
– 実験により、SPColorが公開データセットで最近の最先端の手法よりも定量的・定性的に優れていることが示されました。

要約(オリジナル)

Exemplar-based image colorization aims to colorize a target grayscale image based on a color reference image, and the key is to establish accurate pixel-level semantic correspondence between these two images. Previous methods search for correspondence across the entire reference image, and this type of global matching is easy to get mismatch. We summarize the difficulties in two aspects: (1) When the reference image only contains a part of objects related to target image, improper correspondence will be established in unrelated regions. (2) It is prone to get mismatch in regions where the shape or texture of the object is easily confused. To overcome these issues, we propose SPColor, a semantic prior guided exemplar-based image colorization framework. Different from previous methods, SPColor first coarsely classifies pixels of the reference and target images to several pseudo-classes under the guidance of semantic prior, then the correspondences are only established locally between the pixels in the same class via the newly designed semantic prior guided correspondence network. In this way, improper correspondence between different semantic classes is explicitly excluded, and the mismatch is obviously alleviated. Besides, to better reserve the color from reference, a similarity masked perceptual loss is designed. Noting that the carefully designed SPColor utilizes the semantic prior provided by an unsupervised segmentation model, which is free for additional manual semantic annotations. Experiments demonstrate that our model outperforms recent state-of-the-art methods both quantitatively and qualitatively on public dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI