FaceMe: Robust Blind Face Restoration with Personal Identification

要約

ブラインドフェイスの復元は、必要なコンテキストが欠如しているため、非常に不適切な問題です。
既存の方法は高品質の出力を生成しますが、多くの場合、個人のアイデンティティを忠実に保存できません。
本稿では拡散モデルに基づいたパーソナライズされた顔復元手法FaceMeを提案する。
単一または少数の参照画像が与えられた場合、アイデンティティ エンコーダを使用してアイデンティティ関連の特徴を抽出します。これは、高品質でアイデンティティの一貫した顔画像を復元する際に拡散モデルをガイドするためのプロンプトとして機能します。
アイデンティティ関連の特徴を単純に組み合わせることで、トレーニング中にアイデンティティに無関係な特徴の影響を効果的に最小限に抑え、推論中に任意の数の参照画像入力をサポートします。
さらに、アイデンティティ エンコーダの堅牢性のおかげで、合成画像をトレーニング中に参照画像として使用でき、推論中にアイデンティティが変更されてもモデルを微調整する必要がありません。
また、現実世界のシナリオに現れる可能性のあるポーズや表情をシミュレートする参照画像トレーニング プールを構築するためのパイプラインも提案します。
実験結果は、FaceMe が ID の一貫性を維持しながら高品質の顔画像を復元し、優れたパフォーマンスと堅牢性を実現できることを示しています。

要約(オリジナル)

Blind face restoration is a highly ill-posed problem due to the lack of necessary context. Although existing methods produce high-quality outputs, they often fail to faithfully preserve the individual’s identity. In this paper, we propose a personalized face restoration method, FaceMe, based on a diffusion model. Given a single or a few reference images, we use an identity encoder to extract identity-related features, which serve as prompts to guide the diffusion model in restoring high-quality and identity-consistent facial images. By simply combining identity-related features, we effectively minimize the impact of identity-irrelevant features during training and support any number of reference image inputs during inference. Additionally, thanks to the robustness of the identity encoder, synthesized images can be used as reference images during training, and identity changing during inference does not require fine-tuning the model. We also propose a pipeline for constructing a reference image training pool that simulates the poses and expressions that may appear in real-world scenarios. Experimental results demonstrate that our FaceMe can restore high-quality facial images while maintaining identity consistency, achieving excellent performance and robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google