Towards Counterfactual Image Manipulation via CLIP

要約

StyleGANの表現力と分離された潜在コードを活用することで、既存の手法では顔画像の年齢や性別といった異なる視覚的属性をリアルに編集することが可能です。ここで、興味深い、しかし挑戦的な問題が発生する。生成モデルは学習された事前情報に対して反事実的な編集を行うことができるのか？この問題に対して、我々はテキスト駆動型のCLIP（Contrastive-Language-Image-Pretraining）を用いて研究を行う。領域内操作と異なり、反実仮想的操作では、CLIPに内包された意味知識をより包括的に利用する必要がある。また、局所最小値に留まることや望ましくない編集を避けるため、より繊細な編集方向の取り扱いが必要となる。そこで我々は、CLIP空間の方向性を利用して、異なる視点から望ましい方向へ編集を誘導する新しい対照損失を設計する。さらに、CLIP埋め込みを潜在空間に明示的にマッピングし、潜在コードと融合させることで、潜在コードの最適化と正確な編集を実現するシンプルかつ効果的な方式を設計する。広範な実験により、我々の設計は、様々な反実仮想的概念を持つターゲットテキストによって駆動しながら、正確で現実的な編集を実現することが示された。

要約(オリジナル)

Leveraging StyleGAN’s expressivity and its disentangled latent codes, existing methods can achieve realistic editing of different visual attributes such as age and gender of facial images. An intriguing yet challenging problem arises: Can generative models achieve counterfactual editing against their learnt priors? Due to the lack of counterfactual samples in natural datasets, we investigate this problem in a text-driven manner with Contrastive-Language-Image-Pretraining (CLIP), which can offer rich semantic knowledge even for various counterfactual concepts. Different from in-domain manipulation, counterfactual manipulation requires more comprehensive exploitation of semantic knowledge encapsulated in CLIP as well as more delicate handling of editing directions for avoiding being stuck in local minimum or undesired editing. To this end, we design a novel contrastive loss that exploits predefined CLIP-space directions to guide the editing toward desired directions from different perspectives. In addition, we design a simple yet effective scheme that explicitly maps CLIP embeddings (of target text) to the latent space and fuses them with latent codes for effective latent code optimization and accurate editing. Extensive experiments show that our design achieves accurate and realistic editing while driving by target texts with various counterfactual concepts.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL