Reference Guided Image Inpainting using Facial Attributes

要約

画像の修復は、オクルードされた領域の復元、邪魔なオブジェクトの削除、顔の完成など、失われたピクセルを完成させる技術です。
これらの修復タスクのうち、顔補完アルゴリズムは、ユーザーの指示に従って顔の修復を実行します。
既存のアプローチは、ユーザーによる繊細で十分に制御された入力を必要とするため、平均的なユーザーが、アルゴリズムが望ましい結果を生成するのに十分正確なガイダンスを提供することは困難です。
この制限を克服するために、単一の参照画像をガイドとして使用して顔の属性を操作する、代替のユーザーガイド付き修復アーキテクチャを提案します。
当社のエンド ツー エンド モデルは、正確な参照画像属性転送のための属性エクストラクタと、生成された画像に属性を現実的かつ正確にマッピングするための修復モデルで構成されています。
MS-SSIM 損失と学習可能な双方向アテンション マップをカスタマイズします。このマップでは、不規則な形状のマスクでも重要な構造が損なわれません。
公開されているデータセット CelebA-HQ を使用した評価に基づいて、提案された方法が修復タスクに特化したいくつかの最先端の方法と比較して優れたパフォーマンスを提供することを示しています。

要約(オリジナル)

Image inpainting is a technique of completing missing pixels such as occluded region restoration, distracting objects removal, and facial completion. Among these inpainting tasks, facial completion algorithm performs face inpainting according to the user direction. Existing approaches require delicate and well controlled input by the user, thus it is difficult for an average user to provide the guidance sufficiently accurate for the algorithm to generate desired results. To overcome this limitation, we propose an alternative user-guided inpainting architecture that manipulates facial attributes using a single reference image as the guide. Our end-to-end model consists of attribute extractors for accurate reference image attribute transfer and an inpainting model to map the attributes realistically and accurately to generated images. We customize MS-SSIM loss and learnable bidirectional attention maps in which importance structures remain intact even with irregular shaped masks. Based on our evaluation using the publicly available dataset CelebA-HQ, we demonstrate that the proposed method delivers superior performance compared to some state-of-the-art methods specialized in inpainting tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google