WISE: Whitebox Image Stylization by Example-based Learning

要約

画像ベースのアーティスティック レンダリングでは、アルゴリズムによる画像フィルタリングを使用して、さまざまな表現スタイルを合成できます。
ディープ ラーニング ベースの方法とは対照的に、これらのヒューリスティック ベースのフィルタリング手法は、高解像度の画像で動作し、解釈可能であり、さまざまな設計の側面に従ってパラメーター化できます。
ただし、これらの手法を適応または拡張して新しいスタイルを作成することは、多くの場合、退屈でエラーが発生しやすい作業であり、専門知識が必要です。
この問題を軽減するための新しいパラダイムを提案します。特定の参照スタイルに合わせてパラメーター化を学習できる微分可能な操作としてアルゴリズム画像フィルタリング技術を実装します。
この目的のために、共通のフレームワーク内で、水彩画、油絵、または漫画の様式化などの多数の様式化技術を処理できるサンプルベースの画像処理システムである WISE を提示します。
グローバルおよびローカル フィルター パラメーター化のパラメーター予測ネットワークをトレーニングすることにより、たとえば顔の特徴を強調するなど、参照スタイルと画像コンテンツに効果を同時に適応させることができます。
私たちの方法は、スタイル転送フレームワークで最適化するか、画像から画像への変換のために生成的敵対的設定で学習できます。
後処理のために XDoG フィルターと CNN を共同でトレーニングすると、最先端の GAN ベースの方法に匹敵する結果が得られることを示します。

要約(オリジナル)

Image-based artistic rendering can synthesize a variety of expressive styles using algorithmic image filtering. In contrast to deep learning-based methods, these heuristics-based filtering techniques can operate on high-resolution images, are interpretable, and can be parameterized according to various design aspects. However, adapting or extending these techniques to produce new styles is often a tedious and error-prone task that requires expert knowledge. We propose a new paradigm to alleviate this problem: implementing algorithmic image filtering techniques as differentiable operations that can learn parametrizations aligned to certain reference styles. To this end, we present WISE, an example-based image-processing system that can handle a multitude of stylization techniques, such as watercolor, oil or cartoon stylization, within a common framework. By training parameter prediction networks for global and local filter parameterizations, we can simultaneously adapt effects to reference styles and image content, e.g., to enhance facial features. Our method can be optimized in a style-transfer framework or learned in a generative-adversarial setting for image-to-image translation. We demonstrate that jointly training an XDoG filter and a CNN for postprocessing can achieve comparable results to a state-of-the-art GAN-based method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google