SelfSwapper: Self-Supervised Face Swapping via Shape Agnostic Masked AutoEncoder

要約

顔の交換は、そのさまざまな用途で大きな注目を集めています。
これまでの顔交換アプローチの大部分は、シーソー ゲーム トレーニング スキームに依存していました。これにより、モデル トレーニングが不安定になり、ターゲット ID 漏洩の問題により、アイデンティティが混合された望ましくないサンプルが生成されることがよくありました。
このペーパーでは、顔交換モデルのトレーニングを強化するために設計された新しい自己監視型アプローチである、Shape Agnostic Masked AutoEncoder (SAMAE) トレーニング スキームを紹介します。
私たちのトレーニングスキームは、従来のシーソーゲームを回避し、自己再構築トレーニング体制を通じて明確な真実を導入することで、従来のトレーニング方法の限界に対処します。
入力画像の顔領域をマスクし、学習されたもつれの解けたアイデンティティおよび非アイデンティティ特徴を利用することで、アイデンティティ漏洩を効果的に軽減します。
さらに、穿孔混乱やランダムメッシュスケーリングなどの新しい技術を使用して形状のずれの問題に取り組み、他のベースライン手法を超えて、同一性属性と非同一性属性の両方を犠牲にすることなく維持する新しい最先端の方法を確立します。
。

要約(オリジナル)

Face swapping has gained significant attention for its varied applications. The majority of previous face swapping approaches have relied on the seesaw game training scheme, which often leads to the instability of the model training and results in undesired samples with blended identities due to the target identity leakage problem. This paper introduces the Shape Agnostic Masked AutoEncoder (SAMAE) training scheme, a novel self-supervised approach designed to enhance face swapping model training. Our training scheme addresses the limitations of traditional training methods by circumventing the conventional seesaw game and introducing clear ground truth through its self-reconstruction training regime. It effectively mitigates identity leakage by masking facial regions of the input images and utilizing learned disentangled identity and non-identity features. Additionally, we tackle the shape misalignment problem with new techniques including perforation confusion and random mesh scaling, and establishes a new state-of-the-art, surpassing other baseline methods, preserving both identity and non-identity attributes, without sacrificing on either aspect.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google