CLIPascene: Scene Sketching with Different Types and Levels of Abstraction

要約

この論文では、さまざまなタイプと複数レベルの抽象化を使用して、特定のシーン画像をスケッチに変換する方法を紹介します。
2 種類の抽象化を区別します。
1 つ目は、スケッチの忠実度を考慮し、その表現を入力のより正確な描写からより緩い描写に変化させます。
2 つ目は、スケッチの視覚的な単純さによって定義され、詳細な描写からまばらなスケッチに移行します。
2 つの抽象化軸 (およびそれぞれに複数のレベル) への明示的なもつれの解消を使用すると、ユーザーは、個人の目標と好みに基づいて目的のスケッチを選択するための追加の制御を提供します。
特定のレベルの忠実度と単純化でスケッチを作成するために、2 つの MLP ネットワークをトレーニングします。
最初のネットワークは、ストロークの望ましい配置を学習し、2 番目のネットワークは、認識可能性とセマンティクスを損なうことなく、スケッチからストロークを徐々に削除することを学習します。
私たちのアプローチは、複雑な背景 (自然や都市の設定など) や被写体 (動物や人物など) を含む複雑なシーンのスケッチを生成しながら、忠実度とシンプルさの観点から入力シーンの段階的な抽象化を描写することができます。

要約(オリジナル)

In this paper, we present a method for converting a given scene image into a sketch using different types and multiple levels of abstraction. We distinguish between two types of abstraction. The first considers the fidelity of the sketch, varying its representation from a more precise portrayal of the input to a looser depiction. The second is defined by the visual simplicity of the sketch, moving from a detailed depiction to a sparse sketch. Using an explicit disentanglement into two abstraction axes — and multiple levels for each one — provides users additional control over selecting the desired sketch based on their personal goals and preferences. To form a sketch at a given level of fidelity and simplification, we train two MLP networks. The first network learns the desired placement of strokes, while the second network learns to gradually remove strokes from the sketch without harming its recognizability and semantics. Our approach is able to generate sketches of complex scenes including those with complex backgrounds (e.g., natural and urban settings) and subjects (e.g., animals and people) while depicting gradual abstractions of the input scene in terms of fidelity and simplicity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google