diffDemorph: Extending Reference-Free Demorphing to Unseen Faces

要約

フェイスモーフは、2つのアイデンティティに対応する2つの顔の画像を組み合わせて、構成要素の両方のアイデンティティの両方を正常に一致させるコンポジットを作成することによって作成されます。
リファレンスフリー（RF）Demorphingは、追加の参照画像を必要とせずに、モーフ画像のみを使用してこのプロセスを逆転させます。
以前のRFデモーフィング方法は、使用されたモーフィング手法（ランドマークベース）やフェイスイメージスタイル（パスポート写真など）などのモーフのテストの分布に関する仮定に依存しているため、過度に制約されています。
このホワイトペーパーでは、視覚的忠実度が高い複合モーフ画像からコンポーネントイメージを効果的に解き放つDiffdemorphと呼ばれる新しい拡散ベースのアプローチを紹介します。
私たちの方法は、テストされたすべてのデータセットで一般的なトレーニングプロトコルで$ \ geq 59.46 \％$で現在の最新技術を破り、モーフテクニックとフェイススタイル全体で一般化する最初の方法です。
合成的に生成されたフェイス画像を使用して作成されたモーフに関する方法をトレーニングし、実際のモーフでテストし、それにより技術の実用性を高めます。
6つのデータセットと2つのフェイスマッチャーでの実験により、この方法の有効性と有効性が確立されます。

要約(オリジナル)

A face morph is created by combining two face images corresponding to two identities to produce a composite that successfully matches both the constituent identities. Reference-free (RF) demorphing reverses this process using only the morph image, without the need for additional reference images. Previous RF demorphing methods are overly constrained, as they rely on assumptions about the distributions of training and testing morphs such as the morphing technique used (e.g., landmark-based) and face image style (e.g., passport photos). In this paper, we introduce a novel diffusion-based approach, referred to as diffDeMorph, that effectively disentangles component images from a composite morph image with high visual fidelity. Our method is the first to generalize across morph techniques and face styles, beating the current state of the art by $\geq 59.46\%$ under a common training protocol across all datasets tested. We train our method on morphs created using synthetically generated face images and test on real morphs, thereby enhancing the practicality of the technique. Experiments on six datasets and two face matchers establish the utility and efficacy of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google