Context-Consistent Semantic Image Editing with Style-Preserved Modulation

要約

セマンティック画像編集では、ローカルのセマンティックラベルマップを利用して、編集された領域に目的のコンテンツを生成します。
最近の作品は、セマンティック画像編集を実現するためにSPADEブロックを借用しています。
ただし、編集された領域と周囲のピクセルの間のスタイルの不一致のため、満足のいく結果を生成することはできません。
これは、SPADEが画像に依存しないローカルセマンティックレイアウトのみを使用し、既知のピクセルに含まれる画像固有のスタイルを無視するという事実に起因します。
この問題に対処するために、2つの変調プロセスで構成されるスタイル保存変調（SPM）を提案します。最初の変調はコンテキストスタイルとセマンティックレイアウトを組み込み、次に2つの融合変調パラメーターを生成します。
2番目の変調は、融合されたパラメータを使用してフィーチャマップを変調します。
このような2つの変調を使用することにより、SPMは、画像固有のコンテキストスタイルを維持しながら、指定されたセマンティックレイアウトを挿入できます。
さらに、編集されたコンテンツを粗い方法から細かい方法で生成するためのプログレッシブアーキテクチャを設計します。
提案された方法は、文脈に一貫した結果を得ることができ、生成された領域と既知のピクセルとの間の不快な境界を大幅に軽減することができます。

要約(オリジナル)

Semantic image editing utilizes local semantic label maps to generate the desired content in the edited region. A recent work borrows SPADE block to achieve semantic image editing. However, it cannot produce pleasing results due to style discrepancy between the edited region and surrounding pixels. We attribute this to the fact that SPADE only uses an image-independent local semantic layout but ignores the image-specific styles included in the known pixels. To address this issue, we propose a style-preserved modulation (SPM) comprising two modulations processes: The first modulation incorporates the contextual style and semantic layout, and then generates two fused modulation parameters. The second modulation employs the fused parameters to modulate feature maps. By using such two modulations, SPM can inject the given semantic layout while preserving the image-specific context style. Moreover, we design a progressive architecture for generating the edited content in a coarse-to-fine manner. The proposed method can obtain context-consistent results and significantly alleviate the unpleasant boundary between the generated regions and the known pixels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google