要約
拡散モデルの開発は、画像の様式化に関する研究、特に特定のスタイル画像に基づいてコンテンツ画像を様式化する分野で大幅に進歩し、多くの学者を魅了しました。
この参照画像のスタイル設定タスクの主な課題は、スタイル画像の色とテクスチャの特徴を組み込みながら、コンテンツ画像の詳細を維持する方法にあります。
この課題は、コンテンツ画像が複雑なテクスチャの詳細を含むポートレートである場合にさらに顕著になります。
この課題に対処するために、MagicStyle と呼ばれる、ポートレートに特化した拡散モデルベースの参照画像様式化方法を提案します。
MagicStyle は、Content and Style DDIM Inversion (CSDI) と Feature Fusion Forward (FFF) の 2 つのフェーズで構成されます。
CSDI フェーズには、逆ノイズ除去プロセスが含まれます。このプロセスでは、DDIM 反転がコンテンツ イメージとスタイル イメージに対して個別に実行され、反転プロセス中に両方のイメージのセルフ アテンション クエリ、キー、および値の特徴が保存されます。
FFF フェーズでは、前方ノイズ除去を実行し、事前に保存されたフィーチャ クエリ、キー、および値からのテクスチャとカラー情報を、適切に設計されたフィーチャ フュージョン アテンション (FFA) に基づいた拡散生成プロセスに調和的に統合します。
私たちは、提案した MagicStyle と FFA の有効性を検証するために、包括的な比較実験とアブレーション実験を実施しました。
要約(オリジナル)
The development of diffusion models has significantly advanced the research on image stylization, particularly in the area of stylizing a content image based on a given style image, which has attracted many scholars. The main challenge in this reference image stylization task lies in how to maintain the details of the content image while incorporating the color and texture features of the style image. This challenge becomes even more pronounced when the content image is a portrait which has complex textural details. To address this challenge, we propose a diffusion model-based reference image stylization method specifically for portraits, called MagicStyle. MagicStyle consists of two phases: Content and Style DDIM Inversion (CSDI) and Feature Fusion Forward (FFF). The CSDI phase involves a reverse denoising process, where DDIM Inversion is performed separately on the content image and the style image, storing the self-attention query, key and value features of both images during the inversion process. The FFF phase executes forward denoising, harmoniously integrating the texture and color information from the pre-stored feature queries, keys and values into the diffusion generation process based on our Well-designed Feature Fusion Attention (FFA). We conducted comprehensive comparative and ablation experiments to validate the effectiveness of our proposed MagicStyle and FFA.
arxiv情報
| 著者 | Zhaoli Deng,Kaibin Zhou,Fanyi Wang,Zhenpeng Mi |
| 発行日 | 2024-09-12 15:51:09+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google