Cross Initialization for Personalized Text-to-Image Generation

要約

最近、事前トレーニングされたテキストから画像への拡散モデルの高度な機能の恩恵を受けて、顔のパーソナライゼーション技術が急増しています。
中でも注目すべき手法は、指定された画像をテキスト埋め込みに反転することでパーソナライズされた画像を生成する Textual Inversion です。
ただし、テキスト反転に基づく方法は、再構築の品質と編集可能性の間のトレードオフのバランスをとるのに依然として苦労しています。
この研究では、初期化の観点からこの問題を調査します。
従来の初期化方法を詳しく調べた結果、スケールと方向の両方の点で、初期埋め込みと学習された埋め込みの間に大きな差異があることがわかりました。
学習された埋め込みの規模は、最初の埋め込みの規模よりも最大 100 倍大きくなる可能性があります。
埋め込みにこのような大幅な変更を加えると、オーバーフィットのリスクが高まり、編集性が損なわれる可能性があります。
この観察に基づいて、初期埋め込みと学習された埋め込みの間のギャップを大幅に狭める、クロス初期化と呼ばれる新しい初期化方法を導入します。
この方法により、再構成と編集可能性の両方が向上するだけでなく、最適化ステップが 5000 から 320 に削減されます。さらに、正規化項を適用して、学習された埋め込みを初期埋め込みに近づけます。
この正則化項を相互初期化と組み合わせると、編集可能性が効果的に向上することがわかります。
当社は、ベースライン手法と比較して、当社の手法の優れたパフォーマンスを実証するための包括的な経験的証拠を提供します。
特に、私たちの実験では、個人の顔の表情を正常に編集できる唯一の方法はクロス初期化です。
さらに、私たちの手法の高速バージョンでは、入力画像を約 26 秒でキャプチャでき、再構築と編集可能性の両方の点でベースライン手法を上回っています。
コードは公開されます。

要約(オリジナル)

Recently, there has been a surge in face personalization techniques, benefiting from the advanced capabilities of pretrained text-to-image diffusion models. Among these, a notable method is Textual Inversion, which generates personalized images by inverting given images into textual embeddings. However, methods based on Textual Inversion still struggle with balancing the trade-off between reconstruction quality and editability. In this study, we examine this issue through the lens of initialization. Upon closely examining traditional initialization methods, we identified a significant disparity between the initial and learned embeddings in terms of both scale and orientation. The scale of the learned embedding can be up to 100 times greater than that of the initial embedding. Such a significant change in the embedding could increase the risk of overfitting, thereby compromising the editability. Driven by this observation, we introduce a novel initialization method, termed Cross Initialization, that significantly narrows the gap between the initial and learned embeddings. This method not only improves both reconstruction and editability but also reduces the optimization steps from 5000 to 320. Furthermore, we apply a regularization term to keep the learned embedding close to the initial embedding. We show that when combined with Cross Initialization, this regularization term can effectively improve editability. We provide comprehensive empirical evidence to demonstrate the superior performance of our method compared to the baseline methods. Notably, in our experiments, Cross Initialization is the only method that successfully edits an individual’s facial expression. Additionally, a fast version of our method allows for capturing an input image in roughly 26 seconds, while surpassing the baseline methods in terms of both reconstruction and editability. Code will be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google