DIFAI: Diverse Facial Inpainting using StyleGAN Inversion

要約

画像の修復は、コンピューター ビジョンの古い問題であり、遮られた領域を復元し、損傷した画像を完成させます。
顔画像の修復の場合、他の合理的な可能性があるにもかかわらず、ほとんどの方法はマスクされた画像ごとに 1 つの結果しか生成しません。
1 つの画像のみを生成することに起因する潜在的なバイアスや不自然な制約を防ぐために、StyleGAN の埋め込みスペースを利用した多様な顔の修復のための新しいフレームワークを提案します。
私たちのフレームワークは pSp エンコーダーと SeFa アルゴリズムを採用して StyleGAN 埋め込みのセマンティック コンポーネントを識別し、妥当な修復のために領域正規化を採用する提案された SPARCN デコーダーにそれらをフィードします。
提案された方法がいくつかの最先端の方法よりも優れていることを示します。

要約(オリジナル)

Image inpainting is an old problem in computer vision that restores occluded regions and completes damaged images. In the case of facial image inpainting, most of the methods generate only one result for each masked image, even though there are other reasonable possibilities. To prevent any potential biases and unnatural constraints stemming from generating only one image, we propose a novel framework for diverse facial inpainting exploiting the embedding space of StyleGAN. Our framework employs pSp encoder and SeFa algorithm to identify semantic components of the StyleGAN embeddings and feed them into our proposed SPARN decoder that adopts region normalization for plausible inpainting. We demonstrate that our proposed method outperforms several state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google