MyStyle: A Personalized Generative Prior

要約

MyStyle は、個人を撮影した数枚の画像を用いて学習させた、パーソナライズされた深層生成事前処理である。MyStyleは、特定の人物の画像を再構成、強調、編集することができ、出力はその人物の主要な顔の特徴に忠実であるようにすることができます。ある人物のポートレート画像の小さな参照集合（~100）が与えられたとき、我々は事前に学習したStyleGAN顔生成器の重みを調整し、潜在空間において局所的で低次元な、個人化された多様体を形成する。この多様体は、その人物の様々なポートレート画像に関連する潜在コードにまたがるパーソナライズ領域を構成することを示す。さらに、個人化された生成事前分布が得られることを示し、それをインペインティングや超解像、意味編集など、様々な不定型画像強調問題に適用するための統一的なアプローチを提案する。個人化された生成事前分布を用いることで、入力画像に忠実で、かつ、参照集合中の個人の主要な顔特徴に忠実な出力を得ることができる。我々は、期待される結果の質的評価のために、事前知識を有する多数の広く認識可能な個人の公正な使用画像を用いて本手法を実証する。また、本手法を数枚の画像からなるベースラインと比較評価し、本手法が定量的・定性的にも最新の代替手法を凌駕することを示す。

要約(オリジナル)

We introduce MyStyle, a personalized deep generative prior trained with a few shots of an individual. MyStyle allows to reconstruct, enhance and edit images of a specific person, such that the output is faithful to the person’s key facial characteristics. Given a small reference set of portrait images of a person (~100), we tune the weights of a pretrained StyleGAN face generator to form a local, low-dimensional, personalized manifold in the latent space. We show that this manifold constitutes a personalized region that spans latent codes associated with diverse portrait images of the individual. Moreover, we demonstrate that we obtain a personalized generative prior, and propose a unified approach to apply it to various ill-posed image enhancement problems, such as inpainting and super-resolution, as well as semantic editing. Using the personalized generative prior we obtain outputs that exhibit high-fidelity to the input images and are also faithful to the key facial characteristics of the individual in the reference set. We demonstrate our method with fair-use images of numerous widely recognizable individuals for whom we have the prior knowledge for a qualitative evaluation of the expected outcome. We evaluate our approach against few-shots baselines and show that our personalized prior, quantitatively and qualitatively, outperforms state-of-the-art alternatives.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL