MOST-Net: A Memory Oriented Style Transfer Network for Face Sketch Synthesis

要約

顔スケッチ合成は、マルチメディアエンターテイメントや法執行機関において広く利用されている。近年、ディープニューラルネットワークが開発されたものの、人間の顔は多様で複雑であるため、正確でリアルな顔スケッチ合成は依然として困難な課題である。現在の画像間変換に基づく顔スケッチ合成は、小規模なデータセットになるとオーバーフィットの問題に頻繁に遭遇する。この問題に対処するため、我々は、限られたデータで高忠実度のスケッチを生成できる顔スケッチ合成のためのエンドツーエンドのメモリ指向スタイル転送ネットワーク（MOST-Net）を提案する。具体的には、自己教師付き動的メモリモジュールを外部に導入し、ドメインアライメント知識を長期的に捕捉する。これにより、顔とスケッチの間の永続的な関係を特徴量レベルで確立し、ドメイントランスファー能力を獲得することができる。さらに、メモリモジュールの特徴アライメントのために、教師無しでメモリスロットの精度を向上させる新しいMemory Refinement Loss (MR Loss)を設計する。CUFSおよびCUFSFデータセットに対する広範な実験により、我々のMOST-Netは、特に構造的類似度指数(SSIM)の点で最先端の性能を達成することが示される。

要約(オリジナル)

Face sketch synthesis has been widely used in multi-media entertainment and law enforcement. Despite the recent developments in deep neural networks, accurate and realistic face sketch synthesis is still a challenging task due to the diversity and complexity of human faces. Current image-to-image translation-based face sketch synthesis frequently encounters over-fitting problems when it comes to small-scale datasets. To tackle this problem, we present an end-to-end Memory Oriented Style Transfer Network (MOST-Net) for face sketch synthesis which can produce high-fidelity sketches with limited data. Specifically, an external self-supervised dynamic memory module is introduced to capture the domain alignment knowledge in the long term. In this way, our proposed model could obtain the domain-transfer ability by establishing the durable relationship between faces and corresponding sketches on the feature level. Furthermore, we design a novel Memory Refinement Loss (MR Loss) for feature alignment in the memory module, which enhances the accuracy of memory slots in an unsupervised manner. Extensive experiments on the CUFS and the CUFSF datasets show that our MOST-Net achieves state-of-the-art performance, especially in terms of the Structural Similarity Index(SSIM).

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL