Superresolution Reconstruction of Single Image for Latent features

要約

近年、深層学習は単一画像超解像度再構成 (SISR) タスクで良好な結果を示しており、この分野で最も広く使用されている方法になっています。
SISR タスクは、不確実性の問題を解決する典型的なタスクです。
したがって、高品質のサンプリング、高速なサンプリング、およびサンプリング後の詳細とテクスチャの多様性の要件を SISR タスクで同時に満たすことは、しばしば困難です。これは、モデルの崩壊、サンプリング後の詳細とテクスチャの特徴の欠如などにつながります。
高解像度 (HR) 画像再構成方法での長いサンプリング時間。
本稿では、これらの問題を解決するために、潜在的特徴の拡散確率モデル (LDDPM) を提案します。
まず、Conditional Encoder は、低解像度 (LR) 画像を効果的にエンコードするように設計されているため、再構成画像のソリューション スペースを削減して、再構成画像のパフォーマンスを向上させます。
次に、Normalized Flow と Multi-modal adversarial training を使用して、複雑な Multi-modal 分布でノイズ除去分布をモデル化し、少数のサンプリング ステップでモデルの Generative Modeling 能力を向上させることができます。
主流のデータセットでの実験結果は、提案されたモデルがより現実的な HR 画像を再構築し、既存の SISR タスクと比較してより優れた PSNR および SSIM パフォーマンスを取得し、SISR タスクの新しいアイデアを提供することを示しています。

要約(オリジナル)

In recent years, Deep Learning has shown good results in the Single Image Superresolution Reconstruction (SISR) task, thus becoming the most widely used methods in this field. The SISR task is a typical task to solve an uncertainty problem. Therefore, it is often challenging to meet the requirements of High-quality sampling, fast Sampling, and diversity of details and texture after Sampling simultaneously in a SISR task.It leads to model collapse, lack of details and texture features after Sampling, and too long Sampling time in High Resolution (HR) image reconstruction methods. This paper proposes a Diffusion Probability model for Latent features (LDDPM) to solve these problems. Firstly, a Conditional Encoder is designed to effectively encode Low-Resolution (LR) images, thereby reducing the solution space of reconstructed images to improve the performance of reconstructed images. Then, the Normalized Flow and Multi-modal adversarial training are used to model the denoising distribution with complex Multi-modal distribution so that the Generative Modeling ability of the model can be improved with a small number of Sampling steps. Experimental results on mainstream datasets demonstrate that our proposed model reconstructs more realistic HR images and obtains better PSNR and SSIM performance compared to existing SISR tasks, thus providing a new idea for SISR tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google