SelfSwapper: Self-Supervised Face Swapping via Shape Agnostic Masked AutoEncoder

要約

顔の交換は、そのさまざまな用途で大きな注目を集めています。
これまでの顔交換アプローチのほとんどは、ターゲット指向アプローチとしても知られるシーソー ゲーム トレーニング スキームに依存していました。
ただし、これによりモデルのトレーニングが不安定になり、ターゲット ID 漏洩の問題により、ID が混合された望ましくないサンプルが生成されることがよくあります。
ソース指向の方法は、自己再構成目標を使用してより安定したトレーニングを実現しますが、多くの場合、ターゲット画像の肌の色と照明を正確に反映できません。
このペーパーでは、ターゲット指向のアプローチとソース指向のアプローチの両方の長所を組み合わせた新しい自己教師ありアプローチである、Shape Agnostic Masked AutoEncoder (SAMAE) トレーニング スキームを紹介します。
私たちのトレーニングスキームは、従来のシーソーゲームを回避し、自己再構築トレーニング体制を通じて明確な真実を導入することで、従来のトレーニング方法の限界に対処します。
私たちのモデルは、アイデンティティの漏洩を効果的に軽減し、学習されたもつれの解けたアイデンティティと非アイデンティティの特徴を通じて、ターゲットのアルベドとイルミネーションを反映します。
さらに、穿孔の混乱やランダムなメッシュのスケーリングなどの新しい技術を使用して、形状のずれや体積の不一致の問題にも厳密に取り組みます。
SAMAE は、他のベースライン手法を超え、アイデンティティ属性と非アイデンティティ属性の両方を犠牲にすることなく保持する、新しい最先端のメソッドを確立します。

要約(オリジナル)

Face swapping has gained significant attention for its varied applications. Most previous face swapping approaches have relied on the seesaw game training scheme, also known as the target-oriented approach. However, this often leads to instability in model training and results in undesired samples with blended identities due to the target identity leakage problem. Source-oriented methods achieve more stable training with self-reconstruction objective but often fail to accurately reflect target image’s skin color and illumination. This paper introduces the Shape Agnostic Masked AutoEncoder (SAMAE) training scheme, a novel self-supervised approach that combines the strengths of both target-oriented and source-oriented approaches. Our training scheme addresses the limitations of traditional training methods by circumventing the conventional seesaw game and introducing clear ground truth through its self-reconstruction training regime. Our model effectively mitigates identity leakage and reflects target albedo and illumination through learned disentangled identity and non-identity features. Additionally, we closely tackle the shape misalignment and volume discrepancy problems with new techniques, including perforation confusion and random mesh scaling. SAMAE establishes a new state-of-the-art, surpassing other baseline methods, preserving both identity and non-identity attributes without sacrificing on either aspect.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google