ArtiFade: Learning to Generate High-quality Subject from Blemished Images

要約

被写体主導のテキストから画像への生成では、限られた数の画像のみを使用して被写体の特徴を学習しキャプチャする能力が目覚ましい進歩を遂げています。
ただし、既存の方法は一般的にトレーニングに高品質の画像に依存しており、入力画像にアーティファクトによって傷がある場合、適切な画像を生成するのが困難になる可能性があります。
これは主に、被写体関連の特徴と破壊的なアーティファクトを区別する現在の技術の能力が不十分であることに起因します。
この論文では、この問題に取り組み、傷のあるデータセットから高品質でアーティファクトのない画像を生成するために ArtiFade を紹介します。
具体的には、ArtiFade は、アーティファクトを除去することを目的として、事前トレーニングされたテキストから画像へのモデルの微調整を利用します。
アーティファクトの除去は、微調整中に傷のない画像とそれに対応する傷のある画像の両方を含む特殊なデータセットを利用することによって実現されます。
また、ArtiFade は、拡散モデルに固有の元の生成機能の保存を保証するため、高品質でアーティファクトのない画像を生成する際の被写体主導型手法の全体的なパフォーマンスを向上させます。
さらに、このタスクに合わせた評価ベンチマークを考案します。
広範な定性的および定量的実験を通じて、配布中および配布外の両方のシナリオで効果的なアーティファクト除去における ArtiFade の一般化可能性を実証します。

要約(オリジナル)

Subject-driven text-to-image generation has witnessed remarkable advancements in its ability to learn and capture characteristics of a subject using only a limited number of images. However, existing methods commonly rely on high-quality images for training and may struggle to generate reasonable images when the input images are blemished by artifacts. This is primarily attributed to the inadequate capability of current techniques in distinguishing subject-related features from disruptive artifacts. In this paper, we introduce ArtiFade to tackle this issue and successfully generate high-quality artifact-free images from blemished datasets. Specifically, ArtiFade exploits fine-tuning of a pre-trained text-to-image model, aiming to remove artifacts. The elimination of artifacts is achieved by utilizing a specialized dataset that encompasses both unblemished images and their corresponding blemished counterparts during fine-tuning. ArtiFade also ensures the preservation of the original generative capabilities inherent within the diffusion model, thereby enhancing the overall performance of subject-driven methods in generating high-quality and artifact-free images. We further devise evaluation benchmarks tailored for this task. Through extensive qualitative and quantitative experiments, we demonstrate the generalizability of ArtiFade in effective artifact removal under both in-distribution and out-of-distribution scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google