MagicID: Flexible ID Fidelity Generation System

要約

ポートレート忠実度生成は、制御性と忠実度の両方を強化することに主に焦点を当てた、生成モデルの著名な研究分野です。
現在の方法では、特に複数人の集合写真の設定において、顔が低解像度の画像の小さな部分を占める場合、高忠実度のポートレート結果を生成する際に課題に直面しています。
これらの問題に取り組むために、私たちは、IDZoom という名前の自己構築された 100 万レベルのマルチモーダル データセットに基づく、MagicID と呼ばれる体系的なソリューションを提案します。
MagicID は、マルチモード フュージョン トレーニング ストラテジー (MMF) と DDIM 反転ベースの ID 復元推論フレームワーク (DIIR) で構成されます。
トレーニング中に、MMF は IDZoom のスケルトンとランドマーク モダリティを条件付きガイダンスとして繰り返し使用します。
トレーニング段階でクローン顔チューニングを導入し、推論段階でマスクガイド付きマルチ ID クロス アテンション (MGMICA) を導入することで、マルチ ID 集合写真の生成において顔の位置特徴に対する明示的な制約が実現されます。
DIIR は、アーティファクトの問題に対処することを目的としています。
DDIM 反転は、顔のランドマーク、グローバルおよびローカルの顔の特徴と組み合わせて使用​​され、背景を変更せずに顔の復元を実現します。
さらに、DIIR はプラグアンドプレイであり、拡散ベースのポートレート生成方法に適用できます。
MagicID の有効性を検証するために、私たちは広範な比較実験とアブレーション実験を実施しました。
実験結果は、MagicID には主観的指標と客観的指標の両方で大きな利点があり、複数人のシナリオで制御可能な生成を実現することを示しています。

要約(オリジナル)

Portrait Fidelity Generation is a prominent research area in generative models, with a primary focus on enhancing both controllability and fidelity. Current methods face challenges in generating high-fidelity portrait results when faces occupy a small portion of the image with a low resolution, especially in multi-person group photo settings. To tackle these issues, we propose a systematic solution called MagicID, based on a self-constructed million-level multi-modal dataset named IDZoom. MagicID consists of Multi-Mode Fusion training strategy (MMF) and DDIM Inversion based ID Restoration inference framework (DIIR). During training, MMF iteratively uses the skeleton and landmark modalities from IDZoom as conditional guidance. By introducing the Clone Face Tuning in training stage and Mask Guided Multi-ID Cross Attention (MGMICA) in inference stage, explicit constraints on face positional features are achieved for multi-ID group photo generation. The DIIR aims to address the issue of artifacts. The DDIM Inversion is used in conjunction with face landmarks, global and local face features to achieve face restoration while keeping the background unchanged. Additionally, DIIR is plug-and-play and can be applied to any diffusion-based portrait generation method. To validate the effectiveness of MagicID, we conducted extensive comparative and ablation experiments. The experimental results demonstrate that MagicID has significant advantages in both subjective and objective metrics, and achieves controllable generation in multi-person scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google