要約
自由形式のテキスト プロンプトにより、ユーザーは画像操作中に意図を簡単に説明できます。
StyleGAN[21] の視覚的潜在空間と CLIP[34] のテキスト埋め込み空間に基づいて、研究はテキスト主導の属性操作のためにこれら 2 つの潜在空間をマッピングする方法に焦点を当てています。
現在、これら 2 つのスペース間の潜在的なマッピングは経験的に設計されており、各操作モデルが 1 つの固定テキスト プロンプトのみを処理できるように制限されています。
この論文では、1 つの操作モデルが自由形式のテキスト プロンプトを処理するように自動潜在マッピングを確立することを目的として、Free-Form CLIP (FFCLIP) という名前の方法を提案します。
私たちの FFCLIP には、セマンティック アラインメントとインジェクションを含むクロス モダリティ セマンティック変調モジュールがあります。
セマンティック アラインメントは、クロス アテンション メカニズムを使用した線形変換を介して自動潜在マッピングを実行します。
整列後、テキスト プロンプトの埋め込みからセマンティクスを StyleGAN 潜在空間に注入します。
1 種類の画像 (たとえば、「人間の肖像」) に対して、1 つの FFCLIP モデルを学習して、自由形式のテキスト プロンプトを処理できます。
一方、各トレーニング テキスト プロンプトには 1 つのセマンティックな意味しか含まれていませんが、FFCLIP は複数のセマンティックな意味を持つテキスト プロンプトを画像操作に活用できることがわかりました。
実験では、3 種類の画像 (つまり、「人間のポートレート」、「車」、および「教会」) で FFCLIP を評価します。
視覚的な結果と数値的な結果の両方で、FFCLIP が意味的に正確で視覚的にリアルな画像を効果的に生成することが示されています。
プロジェクトページ: https://github.com/KumapowerLIU/FFCLIP.
要約(オリジナル)
Free-form text prompts allow users to describe their intentions during image manipulation conveniently. Based on the visual latent space of StyleGAN[21] and text embedding space of CLIP[34], studies focus on how to map these two latent spaces for text-driven attribute manipulations. Currently, the latent mapping between these two spaces is empirically designed and confines that each manipulation model can only handle one fixed text prompt. In this paper, we propose a method named Free-Form CLIP (FFCLIP), aiming to establish an automatic latent mapping so that one manipulation model handles free-form text prompts. Our FFCLIP has a cross-modality semantic modulation module containing semantic alignment and injection. The semantic alignment performs the automatic latent mapping via linear transformations with a cross attention mechanism. After alignment, we inject semantics from text prompt embeddings to the StyleGAN latent space. For one type of image (e.g., `human portrait’), one FFCLIP model can be learned to handle free-form text prompts. Meanwhile, we observe that although each training text prompt only contains a single semantic meaning, FFCLIP can leverage text prompts with multiple semantic meanings for image manipulation. In the experiments, we evaluate FFCLIP on three types of images (i.e., `human portraits’, `cars’, and `churches’). Both visual and numerical results show that FFCLIP effectively produces semantically accurate and visually realistic images. Project page: https://github.com/KumapowerLIU/FFCLIP.
arxiv情報
| 著者 | Yiming Zhu,Hongyu Liu,Yibing Song,ziyang Yuan,Xintong Han,Chun Yuan,Qifeng Chen,Jue Wang |
| 発行日 | 2022-10-17 06:11:48+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google