Self-Adaptive Reality-Guided Diffusion for Artifact-Free Super-Resolution

要約

アーティファクトフリーの超解像度 (SR) は、歪みや合成ディテールを排除し、元のコンテンツの厳密な整合性を保ったまま、低解像度の画像を高解像度の画像に変換することを目的としています。
従来の拡散ベースの SR 技術は、画像の細部を強調する優れた能力を実証してきましたが、反復手順中にアーチファクトが発生する傾向があります。
このようなアーティファクトは、些細なノイズから本物ではないテクスチャに至るまで、ソース画像の真の構造から逸脱しており、超解像プロセスの完全性が損なわれています。
この研究では、潜在空間を掘り下げてアーティファクトの伝播を効果的に特定して軽減するトレーニング不要の手法である自己適応現実誘導拡散 (SARGD) を提案します。
私たちの SARGD は、アーティファクト検出器を使用して信じられないピクセルを特定し、アーティファクトを強調表示するバイナリ マスクを作成することから始まります。
これに続いて、リアリティ ガイダンス リファインメント (RGR) プロセスにより、このマスクをリアルな潜在表現と統合することでアーティファクトがリファインされ、元の画像との位置合わせが向上します。
それにもかかわらず、低品質のイメージからの初期のリアルな潜在表現は、最終出力で過剰な平滑化をもたらします。
これに対処するために、自己適応ガイダンス (SAG) メカニズムを導入します。
リアリティスコアを動的に計算し、リアルな潜在の鮮明さを高めます。
これらの交互メカニズムにより、アーティファクトのない超解像が実現されます。
広範な実験により、サンプリング ステップを 2 倍に削減しながら、詳細なアーティファクトのない高解像度画像を実現するこの手法の優位性が実証されました。
コードは https://github.com/ProAirVerse/Self-Adaptive-Guidance-Diffusion.git でリリースされています。

要約(オリジナル)

Artifact-free super-resolution (SR) aims to translate low-resolution images into their high-resolution counterparts with a strict integrity of the original content, eliminating any distortions or synthetic details. While traditional diffusion-based SR techniques have demonstrated remarkable abilities to enhance image detail, they are prone to artifact introduction during iterative procedures. Such artifacts, ranging from trivial noise to unauthentic textures, deviate from the true structure of the source image, thus challenging the integrity of the super-resolution process. In this work, we propose Self-Adaptive Reality-Guided Diffusion (SARGD), a training-free method that delves into the latent space to effectively identify and mitigate the propagation of artifacts. Our SARGD begins by using an artifact detector to identify implausible pixels, creating a binary mask that highlights artifacts. Following this, the Reality Guidance Refinement (RGR) process refines artifacts by integrating this mask with realistic latent representations, improving alignment with the original image. Nonetheless, initial realistic-latent representations from lower-quality images result in over-smoothing in the final output. To address this, we introduce a Self-Adaptive Guidance (SAG) mechanism. It dynamically computes a reality score, enhancing the sharpness of the realistic latent. These alternating mechanisms collectively achieve artifact-free super-resolution. Extensive experiments demonstrate the superiority of our method, delivering detailed artifact-free high-resolution images while reducing sampling steps by 2X. We release our code at https://github.com/ProAirVerse/Self-Adaptive-Guidance-Diffusion.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google