UniPortrait: A Unified Framework for Identity-Preserving Single- and Multi-Human Image Personalization

要約

このペーパーでは、単一および複数の ID カスタマイズを、高い顔忠実度、広範な顔編集機能、自由形式の入力記述、および多様なレイアウト生成と統合する、革新的な人物画像パーソナライゼーション フレームワークである UniPortrait について説明します。
UniPortrait は、ID 埋め込みモジュールと ID ルーティング モジュールの 2 つのプラグ アンド プレイ モジュールのみで構成されます。
ID 埋め込みモジュールは、各 ID のデカップリング戦略を使用して多用途の編集可能な顔の特徴を抽出し、それらを拡散モデルのコンテキスト空間に埋め込みます。
ID ルーティング モジュールは、これらの埋め込みを合成画像内のそれぞれの領域に適応的に組み合わせて配布し、単一および複数の ID のカスタマイズを実現します。
UniPortrait は、慎重に設計された 2 段階のトレーニング スキームにより、単一 ID と複数 ID の両方のカスタマイズで優れたパフォーマンスを実現します。
定量的および定性的な実験により、既存のアプローチに対する私たちの方法の利点と、既存の生成制御ツールとの普遍的な互換性などの優れた拡張性が実証されています。
プロジェクト ページは https://aigcdesigngroup.github.io/UniPortrait-Page/ にあります。

要約(オリジナル)

This paper presents UniPortrait, an innovative human image personalization framework that unifies single- and multi-ID customization with high face fidelity, extensive facial editability, free-form input description, and diverse layout generation. UniPortrait consists of only two plug-and-play modules: an ID embedding module and an ID routing module. The ID embedding module extracts versatile editable facial features with a decoupling strategy for each ID and embeds them into the context space of diffusion models. The ID routing module then combines and distributes these embeddings adaptively to their respective regions within the synthesized image, achieving the customization of single and multiple IDs. With a carefully designed two-stage training scheme, UniPortrait achieves superior performance in both single- and multi-ID customization. Quantitative and qualitative experiments demonstrate the advantages of our method over existing approaches as well as its good scalability, e.g., the universal compatibility with existing generative control tools. The project page is at https://aigcdesigngroup.github.io/UniPortrait-Page/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google