Picture that Sketch: Photorealistic Image Generation from Abstract Sketches

要約

あなたや私のような訓練を受けていないアマチュアからの抽象的で変形した普通のスケッチを考えると、この論文はそれをフォトリアリスティックなイメージに変えます.
最初にエッジマップのようなスケッチを指示するのではなく、抽象的なフリーハンドの人間のスケッチで作業することを目指しているという点で、従来技術とは大きく異なります。
そうすることで、スケッチから写真へのパイプラインを本質的に民主化し、スケッチの良さに関係なくスケッチを「描く」ことができます。
最初の私たちの貢献は、デコーダーが写真のみでトレーニングされたStyleGANである、分離されたエンコーダーとデコーダーのトレーニングパラダイムです。
これにより、生成された結果が常に写真のようにリアルになります。
残りはすべて、スケッチと写真の間の抽象化のギャップに対処する最善の方法に集中します。
そのために、スケッチを StyleGAN 潜在空間にマッピングする、スケッチと写真のペアでトレーニングされた自己回帰スケッチ マッパーを提案します。
さらに、人間のスケッチの抽象的な性質に取り組むための特定の設計を紹介します。これには、訓練されたスケッチ写真検索モデルの裏にあるきめの細かい識別損失や、部分認識スケッチ拡張戦略が含まれます。
最後に、私たちの生成モデルが可能にするいくつかのダウンストリーム タスクを紹介します。その中には、スケッチ コミュニティでよく研究されている問題である細粒度のスケッチ ベースの画像検索が、画像 (生成) から画像検索へのタスクにどのように還元できるかを示しています。
、最先端を凌駕。
生成された結果は、誰もが精査できるように補足として提出します。

要約(オリジナル)

Given an abstract, deformed, ordinary sketch from untrained amateurs like you and me, this paper turns it into a photorealistic image – just like those shown in Fig. 1(a), all non-cherry-picked. We differ significantly from prior art in that we do not dictate an edgemap-like sketch to start with, but aim to work with abstract free-hand human sketches. In doing so, we essentially democratise the sketch-to-photo pipeline, ‘picturing’ a sketch regardless of how good you sketch. Our contribution at the outset is a decoupled encoder-decoder training paradigm, where the decoder is a StyleGAN trained on photos only. This importantly ensures that generated results are always photorealistic. The rest is then all centred around how best to deal with the abstraction gap between sketch and photo. For that, we propose an autoregressive sketch mapper trained on sketch-photo pairs that maps a sketch to the StyleGAN latent space. We further introduce specific designs to tackle the abstract nature of human sketches, including a fine-grained discriminative loss on the back of a trained sketch-photo retrieval model, and a partial-aware sketch augmentation strategy. Finally, we showcase a few downstream tasks our generation model enables, amongst them is showing how fine-grained sketch-based image retrieval, a well-studied problem in the sketch community, can be reduced to an image (generated) to image retrieval task, surpassing state-of-the-arts. We put forward generated results in the supplementary for everyone to scrutinise.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google