RectifID: Personalizing Rectified Flow with Anchored Classifier Guidance

要約

ユーザーが提供した参照画像から同一性を保持する画像を生成するために拡散モデルをカスタマイズすることは、興味深い新しい問題です。
一般に普及しているアプローチでは、アイデンティティの保存を実現するために広範なドメイン固有のイメージでトレーニングする必要があるため、さまざまなユースケースにわたる柔軟性に欠けています。
この問題に対処するために、私たちは、既存の分類子を使用して拡散モデルを操作するトレーニング不要の手法である分類子ガイダンスを利用して、パーソナライズされた画像を生成します。
私たちの調査では、最近の修正されたフロー フレームワークに基づいて、特別な分類子を必要とするバニラ分類子ガイダンスの主な制限が、シンプルな固定小数点ソリューションで解決でき、既製の画像弁別器を使用して柔軟なパーソナライゼーションが可能になることが示されています。
さらに、その解法手順は、参照流れ軌跡に固定されている場合に安定しており、収束が保証されていることが証明されています。
派生したメソッドは、さまざまな既製の画像弁別器を使用して修正されたフローに実装され、人間の顔、生きている被写体、および特定のオブジェクトに対して有利なパーソナライゼーション結果を提供します。
コードは https://github.com/feifeiobama/RectifID で入手できます。

要約(オリジナル)

Customizing diffusion models to generate identity-preserving images from user-provided reference images is an intriguing new problem. The prevalent approaches typically require training on extensive domain-specific images to achieve identity preservation, which lacks flexibility across different use cases. To address this issue, we exploit classifier guidance, a training-free technique that steers diffusion models using an existing classifier, for personalized image generation. Our study shows that based on a recent rectified flow framework, the major limitation of vanilla classifier guidance in requiring a special classifier can be resolved with a simple fixed-point solution, allowing flexible personalization with off-the-shelf image discriminators. Moreover, its solving procedure proves to be stable when anchored to a reference flow trajectory, with a convergence guarantee. The derived method is implemented on rectified flow with different off-the-shelf image discriminators, delivering advantageous personalization results for human faces, live subjects, and certain objects. Code is available at https://github.com/feifeiobama/RectifID.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google