GHOST 2.0: generative high-fidelity one shot transfer of heads

要約

フェイススワッピングのタスクは最近、研究コミュニティで注目を集めていますが、ヘッドスワッピングの関連する問題はほとんど未踏のままです。
肌の色の伝達に加えて、ヘッドスワップは、合成中に頭全体の構造情報を保存する必要性や、スワップされた頭と背景の間の塗装ギャップなど、追加の課題をもたらします。
この論文では、これらの懸念に2つの問題固有のモジュールで構成されるGhost 2.0に対処します。
まず、ヘッド再現の拡張アライナーモデルを導入します。これは、複数のスケールでアイデンティティ情報を保存し、極端なポーズバリエーションから堅牢なものです。
第二に、肌の色を転送し、不一致の領域を入力することにより、再現されたヘッドをターゲットの背景にシームレスに統合するブレンダーモジュールを使用します。
両方のモジュールは、対応するタスクのベースラインよりも優れているため、ヘッドスワッピングで最先端の結果を達成できます。
また、ソースやターゲットのヘアスタイルの大きな違いなど、複雑なケースにも取り組みます。

要約(オリジナル)

While the task of face swapping has recently gained attention in the research community, a related problem of head swapping remains largely unexplored. In addition to skin color transfer, head swap poses extra challenges, such as the need to preserve structural information of the whole head during synthesis and inpaint gaps between swapped head and background. In this paper, we address these concerns with GHOST 2.0, which consists of two problem-specific modules. First, we introduce enhanced Aligner model for head reenactment, which preserves identity information at multiple scales and is robust to extreme pose variations. Secondly, we use a Blender module that seamlessly integrates the reenacted head into the target background by transferring skin color and inpainting mismatched regions. Both modules outperform the baselines on the corresponding tasks, allowing to achieve state of the art results in head swapping. We also tackle complex cases, such as large difference in hair styles of source and target.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google