PP-GAN : Style Transfer from Korean Portraits to ID Photos Using Landmark Extractor with GAN

要約

スタイル転送の目的は、別の画像のスタイルを転送しながら、画像のコンテンツを維持することです。
しかし、スタイル転送に関する従来の研究には、画像の同一性を維持するために重要な目、鼻、口などの顔のランドマークを保存する際に大きな限界がありました。
韓国の肖像画では、大多数の人物が「ガット」という男性だけが着用する頭飾りの一種をかぶっています。
証明写真の髪の毛とは異なる特徴があるため、「ガット」を転写するのは困難です。
この問題に対処するために、この研究では、顔のアイデンティティを維持しながら、「Gat」を含むスタイル転送を実行できる深層学習ネットワークを提案します。
既存のスタイル転送アプローチとは異なり、提案された方法は、スタイル イメージ上のテクスチャ、コスチューム、および「ガット」を保存することを目的としています。
Generative Adversarial Network は、提案されたネットワークのバックボーンを形成します。
色、テクスチャ、強度は、事前トレーニングされた VGG-16 の各ブロックとレイヤーの特性に基づいて別々に抽出され、トレーニング中に必要な要素のみが顔のランドマーク マスクを使用して保存されます。
頭部領域は、「Gat」を転写するために眉毛領域を使用して提示されました。
さらに、顔の同一性は保持され、グラム行列に基づいてスタイル相関が考慮されました。
提案されたアプローチは、以前の研究と比較して優れた転写および保存パフォーマンスを実証しました。

要約(オリジナル)

The objective of a style transfer is to maintain the content of an image while transferring the style of another image. However, conventional research on style transfer has a significant limitation in preserving facial landmarks, such as the eyes, nose, and mouth, which are crucial for maintaining the identity of the image. In Korean portraits, the majority of individuals wear ‘Gat’, a type of headdress exclusively worn by men. Owing to its distinct characteristics from the hair in ID photos, transferring the ‘Gat’ is challenging. To address this issue, this study proposes a deep learning network that can perform style transfer, including the ‘Gat’, while preserving the identity of the face. Unlike existing style transfer approaches, the proposed method aims to preserve texture, costume, and the ‘Gat’ on the style image. The Generative Adversarial Network forms the backbone of the proposed network. The color, texture, and intensity were extracted differently based on the characteristics of each block and layer of the pre-trained VGG-16, and only the necessary elements during training were preserved using a facial landmark mask. The head area was presented using the eyebrow area to transfer the ‘Gat’. Furthermore, the identity of the face was retained, and style correlation was considered based on the Gram matrix. The proposed approach demonstrated superior transfer and preservation performance compared to previous studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google