PHNet: Patch-based Normalization for Portrait Harmonization

要約

合成画像の一般的な問題は、前景コンポーネントと背景コンポーネントの非互換性です。
画像の調和はこの問題を解決し、画像全体をより本物らしく、一貫したものに見せることを目的としています。
既存のソリューションのほとんどは、合成画像のさまざまな属性を利用して、ルックアップ テーブル (LUT) を予測したり、画像を再構成したりしています。
最近のアプローチは、視覚的な一貫性を達成するために正規化やカラー カーブ レンダリングなどのグローバルな変換を採用することに主に焦点を当てており、局所的な視覚的な一貫性の重要性が見落とされていることがよくあります。
新しいパッチベースの正規化 (PN) ブロックと統計的色伝達に基づく特徴抽出器で構成されるパッチベースの調和ネットワークを紹介します。
広範な実験により、さまざまなドメインに対するネットワークの高い一般化機能が実証されています。
私たちのネットワークは、iHarmony4 データセットで最先端の結果を達成します。
また、FFHQ に基づいて新しい人物ポートレート調和データセットを作成し、その上で最良のメトリクスを達成することで提案手法を検証し、汎化能力を示しました。
ベンチマーク実験では、提案されたパッチベースの正規化ブロックと特徴抽出機能がポートレートを調和させるネットワークの機能を効果的に向上させることが確認されました。
コードとモデルのベースラインは公開されています。

要約(オリジナル)

A common problem for composite images is the incompatibility of their foreground and background components. Image harmonization aims to solve this problem, making the whole image look more authentic and coherent. Most existing solutions predict lookup tables (LUTs) or reconstruct images, utilizing various attributes of composite images. Recent approaches have primarily focused on employing global transformations like normalization and color curve rendering to achieve visual consistency, and they often overlook the importance of local visual coherence. We present a patch-based harmonization network consisting of novel Patch-based normalization (PN) blocks and a feature extractor based on statistical color transfer. Extensive experiments demonstrate the network’s high generalization capability for different domains. Our network achieves state-of-the-art results on the iHarmony4 dataset. Also, we created a new human portrait harmonization dataset based on FFHQ and checked the proposed method to show the generalization ability by achieving the best metrics on it. The benchmark experiments confirm that the suggested patch-based normalization block and feature extractor effectively improve the network’s capability to harmonize portraits. Our code and model baselines are publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google