Interactive Cartoonization with Controllable Perceptual Factors

要約

漫画化は、自然の写真を漫画風にレンダリングするタスクです。
以前の深い漫画化方法は、編集可能性を妨げる可能性があるエンド ツー エンドの翻訳のみに焦点を当てていました。
代わりに、漫画の作成プロセスに基づいたテクスチャと色の編集機能を備えた新しいソリューションを提案します。
そのために、モデル アーキテクチャを設計して、デコーダ、テクスチャ、および色を分離し、これらの属性を分離します。
テクスチャ デコーダでは、ユーザがストローク スタイルと抽象化を制御して多様な漫画テクスチャを生成できるようにするテクスチャ コントローラを提案します。
また、ネットワークが多様で制御可能な色変換を生成するように誘導するために、HSV 色拡張を導入します。
私たちの知る限りでは、私たちの仕事は、ベースラインに比べて大幅な品質改善を示しながら、推論で漫画化を制御するための最初の深いアプローチです。

要約(オリジナル)

Cartoonization is a task that renders natural photos into cartoon styles. Previous deep cartoonization methods only have focused on end-to-end translation, which may hinder editability. Instead, we propose a novel solution with editing features of texture and color based on the cartoon creation process. To do that, we design a model architecture to have separate decoders, texture and color, to decouple these attributes. In the texture decoder, we propose a texture controller, which enables a user to control stroke style and abstraction to generate diverse cartoon textures. We also introduce an HSV color augmentation to induce the networks to generate diverse and controllable color translation. To the best of our knowledge, our work is the first deep approach to control the cartoonization at inference while showing profound quality improvement over to baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google