What Decreases Editing Capability? Domain-Specific Hybrid Refinement for Improved GAN Inversion

要約

最近、インバージョン手法は、ジェネレーター内の追加の高レート情報 (重みや中間機能など) に焦点を当てて、埋め込まれた潜在コードからのインバージョンと編集結果を改善しています。
これらの手法は再構成において合理的な改善をもたらしますが、特に複雑な画像 (たとえば、オクルージョン、詳細な背景、アーティファクトを含む) では、編集機能が低下します。
極めて重要な点は、編集機能の低下を回避して反転結果を改良することです。
この問題に取り組むために、ドメイン固有のハイブリッド リファインメント (DHR) を導入します。これは、2 つの主流のリファインメント手法の長所と短所を利用して、忠実度を向上させながら編集能力を維持します。
具体的には、最初にドメイン固有のセグメンテーションを提案して、画像をドメイン内とドメイン外の 2 つの部分に分割します。
改良プロセスは、ドメイン内領域の編集可能性を維持し、2 つのドメインの忠実度を向上させることを目的としています。
これら 2 つの部分を加重変調と機能変調によって改良します。これをハイブリッド変調改良と呼びます。
提案手法は、すべての潜在コード埋め込み手法と互換性があります。
拡張実験は、私たちのアプローチが実際の画像の反転と編集で最先端を達成することを示しています。
コードは https://github.com/caopulan/GANInverter/tree/main/configs/dhr で入手できます。

要約(オリジナル)

Recently, inversion methods have focused on additional high-rate information in the generator (e.g., weights or intermediate features) to refine inversion and editing results from embedded latent codes. Although these techniques gain reasonable improvement in reconstruction, they decrease editing capability, especially on complex images (e.g., containing occlusions, detailed backgrounds, and artifacts). A vital crux is refining inversion results, avoiding editing capability degradation. To tackle this problem, we introduce Domain-Specific Hybrid Refinement (DHR), which draws on the advantages and disadvantages of two mainstream refinement techniques to maintain editing ability with fidelity improvement. Specifically, we first propose Domain-Specific Segmentation to segment images into two parts: in-domain and out-of-domain parts. The refinement process aims to maintain the editability for in-domain areas and improve two domains’ fidelity. We refine these two parts by weight modulation and feature modulation, which we call Hybrid Modulation Refinement. Our proposed method is compatible with all latent code embedding methods. Extension experiments demonstrate that our approach achieves state-of-the-art in real image inversion and editing. Code is available at https://github.com/caopulan/GANInverter/tree/main/configs/dhr.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google