Eliminating Contextual Prior Bias for Semantic Image Editing via Dual-Cycle Diffusion

要約

テキストから画像への生成拡散モデルの最近の成功は、セマンティック画像編集にも革命をもたらし、クエリ/ターゲット テキストに基づいた画像の操作を可能にしました。
これらの進歩にもかかわらず、例えば不適切な領域に予期しない変更を加えるなど、画像編集中に事前トレーニングされたモデルに文脈上の事前バイアスが導入される可能性があるという重大な課題が存在します。
この問題に対処するために、画像編集をガイドする不偏マスクを生成するデュアルサイクル拡散と呼ばれる新しいアプローチを提案します。
提案されたモデルには、順方向パスと逆方向パスの両方で構成されるバイアス除去サイクルが組み込まれており、それぞれが編集プロセス中に画像コンテンツを確実に保持するための構造的一貫性サイクルを特徴としています。
順方向パスは事前トレーニングされたモデルを利用して編集画像を生成し、逆方向パスは結果をソース画像に変換します。
不偏マスクは、処理されたソース画像と編集された画像の差を比較して、両方が同じ分布に準拠していることを確認することによって生成されます。
私たちの実験では、D-CLIP スコアが 0.272 から 0.283 に大幅に改善されるため、提案された方法の有効性が実証されました。
コードは https://github.com/JohnDreamer/DualCycleDiffsion で入手できます。

要約(オリジナル)

The recent success of text-to-image generation diffusion models has also revolutionized semantic image editing, enabling the manipulation of images based on query/target texts. Despite these advancements, a significant challenge lies in the potential introduction of contextual prior bias in pre-trained models during image editing, e.g., making unexpected modifications to inappropriate regions. To address this issue, we present a novel approach called Dual-Cycle Diffusion, which generates an unbiased mask to guide image editing. The proposed model incorporates a Bias Elimination Cycle that consists of both a forward path and an inverted path, each featuring a Structural Consistency Cycle to ensure the preservation of image content during the editing process. The forward path utilizes the pre-trained model to produce the edited image, while the inverted path converts the result back to the source image. The unbiased mask is generated by comparing differences between the processed source image and the edited image to ensure that both conform to the same distribution. Our experiments demonstrate the effectiveness of the proposed method, as it significantly improves the D-CLIP score from 0.272 to 0.283. The code will be available at https://github.com/JohnDreamer/DualCycleDiffsion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google