SynArtifact: Classifying and Alleviating Artifacts in Synthetic Images via Vision-Language Model

要約

画像合成の急速に進化する分野では、合成画像の知覚的なリアリズムを損なう複雑なアーティファクトの存在が深刻な課題となっています。
アーティファクトを軽減し、合成画像の品質を向上させるために、アーティファクト分類器として視覚言語モデル (VLM) を微調整して、広範囲のアーティファクトを自動的に識別および分類し、生成モデルをさらに最適化するための監視を提供します。
具体的には、包括的なアーティファクト分類法を開発し、VLM を微調整するためのアーティファクト アノテーションを備えた合成画像のデータセット (SynArtifact-1K) を構築します。
微調整された VLM はアーティファクトを識別する優れた能力を示し、ベースラインを 25.66% 上回ります。
私たちの知る限り、このようなエンドツーエンドのアーティファクト分類タスクとソリューションが提案されたのはこれが初めてです。
最後に、VLM の出力をフィードバックとして利用して、アーチファクトを軽減するための生成モデルを改良します。
視覚化の結果とユーザー調査は、洗練された拡散モデルによって合成された画像の品質が明らかに向上していることを示しています。

要約(オリジナル)

In the rapidly evolving area of image synthesis, a serious challenge is the presence of complex artifacts that compromise perceptual realism of synthetic images. To alleviate artifacts and improve quality of synthetic images, we fine-tune Vision-Language Model (VLM) as artifact classifier to automatically identify and classify a wide range of artifacts and provide supervision for further optimizing generative models. Specifically, we develop a comprehensive artifact taxonomy and construct a dataset of synthetic images with artifact annotations for fine-tuning VLM, named SynArtifact-1K. The fine-tuned VLM exhibits superior ability of identifying artifacts and outperforms the baseline by 25.66%. To our knowledge, this is the first time such end-to-end artifact classification task and solution have been proposed. Finally, we leverage the output of VLM as feedback to refine the generative model for alleviating artifacts. Visualization results and user study demonstrate that the quality of images synthesized by the refined diffusion model has been obviously improved.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google