QuantArt: Quantizing Image Style Transfer Towards High Visual Fidelity

要約

既存のスタイル転送アルゴリズムのメカニズムは、ハイブリッド損失関数を最小化して、生成された画像をコンテンツとスタイルの両方で高い類似性に近づけることです。
ただし、このタイプのアプローチは、視覚的な忠実度を保証することはできません。つまり、生成されたアートワークは実際のものと見分けがつかないはずです。
この論文では、視覚的忠実度の高い様式化のために、QuantArt と呼ばれる新しいスタイル転送フレームワークを考案しました。
QuantArt は、ベクトル量子化を使用して、生成されたアートワークの潜在的な表現を実際のアートワーク分布の重心に押し込みます。
QuantArt は、量子化された連続的な潜在表現を融合することにより、コンテンツの保存、スタイルの類似性、および視覚的な忠実度に関して、生成されたアートワークを柔軟に制御できます。
さまざまなスタイル転送設定の実験では、QuantArt フレームワークが既存のスタイル転送方法と比較して大幅に高い視覚的忠実度を達成することが示されています。

要約(オリジナル)

The mechanism of existing style transfer algorithms is by minimizing a hybrid loss function to push the generated image toward high similarities in both content and style. However, this type of approach cannot guarantee visual fidelity, i.e., the generated artworks should be indistinguishable from real ones. In this paper, we devise a new style transfer framework called QuantArt for high visual-fidelity stylization. QuantArt pushes the latent representation of the generated artwork toward the centroids of the real artwork distribution with vector quantization. By fusing the quantized and continuous latent representations, QuantArt allows flexible control over the generated artworks in terms of content preservation, style similarity, and visual fidelity. Experiments on various style transfer settings show that our QuantArt framework achieves significantly higher visual fidelity compared with the existing style transfer methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google