Contrastive Semantic-Guided Image Smoothing Network

要約

画像平滑化は、重要でない詳細を除去しながら画像の顕著な構造を保持することを目的とした基本的な低レベルの視覚タスクである。深層学習は、意味的な構造と些細な詳細の複雑な絡み合いを扱うために、画像平滑化において検討されてきた。しかし、現在の手法は平滑化における2つの重要な事実を無視している：1）限られた数の高品質な平滑化接地真理によって教師されたナイーブなピクセルレベルの回帰は、ドメインシフトにつながり、実世界の画像に対する一般化問題を引き起こす恐れがある、2）テクスチャ外観はオブジェクトセマンティクスと密接に関連しており、画像平滑化は、適応的平滑化強度を適用するためのセマンティック差への認識を必要としている。これらの問題に対処するため、我々は、ロバストな画像平滑化を促進するために、対比的事前処理と意味的事前処理の両方を組み合わせた新しい対比的意味誘導型画像平滑化ネットワーク（CSGIS-Net）を提案する。このネットワークは、望ましくない平滑化効果を負の教師として利用し、意味的な区別を促すセグメンテーションタスクを組み込むことで、監視信号を増強する。提案ネットワークを実現するために、我々はまた、オリジナルのVOCデータセットにテクスチャ強調と平滑化ラベル、すなわちVOC-smoothを付加し、最初に画像平滑化と意味的セグメンテーションを橋渡しする。提案するCSGIS-Netは、広範な実験により、最先端のアルゴリズムよりも大きなマージンをもって優れていることが実証された。コードとデータセットは https://github.com/wangjie6866/CSGIS-Net で公開されています。

要約(オリジナル)

Image smoothing is a fundamental low-level vision task that aims to preserve salient structures of an image while removing insignificant details. Deep learning has been explored in image smoothing to deal with the complex entanglement of semantic structures and trivial details. However, current methods neglect two important facts in smoothing: 1) naive pixel-level regression supervised by the limited number of high-quality smoothing ground-truth could lead to domain shift and cause generalization problems towards real-world images; 2) texture appearance is closely related to object semantics, so that image smoothing requires awareness of semantic difference to apply adaptive smoothing strengths. To address these issues, we propose a novel Contrastive Semantic-Guided Image Smoothing Network (CSGIS-Net) that combines both contrastive prior and semantic prior to facilitate robust image smoothing. The supervision signal is augmented by leveraging undesired smoothing effects as negative teachers, and by incorporating segmentation tasks to encourage semantic distinctiveness. To realize the proposed network, we also enrich the original VOC dataset with texture enhancement and smoothing labels, namely VOC-smooth, which first bridges image smoothing and semantic segmentation. Extensive experiments demonstrate that the proposed CSGIS-Net outperforms state-of-the-art algorithms by a large margin. Code and dataset are available at https://github.com/wangjie6866/CSGIS-Net.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL