$P+$: Extended Textual Conditioning in Text-to-Image Generation

要約

テキストから画像へのモデルに $P+$ と呼ばれる拡張テキスト条件付けスペースを導入します。
この空間は、レイヤーごとのプロンプトから派生した複数のテキスト条件で構成され、それぞれが拡散モデルのノイズ除去 U-net のレイヤーに対応します。
拡張された空間により、画像合成のもつれを解きほぐし、制御できることを示します。
さらに、画像が $P+$ に反転され、レイヤーごとのトークンで表される Extended Textual Inversion (XTI) を導入します。
XTI がより表現力と精度が高く、元の Textual Inversion (TI) 空間よりも高速に収束することを示します。
拡張反転法では、再構成と編集可能性の間に目立ったトレードオフがなく、より規則的な反転が行われます。
新しい空間の特性を分析して理解し、テキストから画像へのモデルをパーソナライズするための方法の有効性を示すために、一連の広範な実験を行います。
さらに、この空間のユニークな特性を利用して、テキストから画像へのモデルを使用したオブジェクト スタイルのミキシングで、これまで達成できなかった結果を達成します。
プロジェクトページ: https://prompt-plus.github.io

要約(オリジナル)

We introduce an Extended Textual Conditioning space in text-to-image models, referred to as $P+$. This space consists of multiple textual conditions, derived from per-layer prompts, each corresponding to a layer of the denoising U-net of the diffusion model. We show that the extended space provides greater disentangling and control over image synthesis. We further introduce Extended Textual Inversion (XTI), where the images are inverted into $P+$, and represented by per-layer tokens. We show that XTI is more expressive and precise, and converges faster than the original Textual Inversion (TI) space. The extended inversion method does not involve any noticeable trade-off between reconstruction and editability and induces more regular inversions. We conduct a series of extensive experiments to analyze and understand the properties of the new space, and to showcase the effectiveness of our method for personalizing text-to-image models. Furthermore, we utilize the unique properties of this space to achieve previously unattainable results in object-style mixing using text-to-image models. Project page: https://prompt-plus.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google