Super-resolution Reconstruction of Single Image for Latent features

要約

単一画像超解像度 (SISR) は通常、さまざまな劣化した低解像度 (LR) 画像を単一の高解像度 (HR) 画像に復元することに重点を置いています。
ただし、SISR タスク中に、詳細やテクスチャの特徴の多様性を維持しながら、高品質と高速サンプリングを同時に維持することは、モデルにとって困難なことがよくあります。
この課題により、モデルの崩壊、再構成された HR 画像の豊富な詳細やテクスチャの特徴の欠如、モデルのサンプリングに過度の時間がかかるなどの問題が発生する可能性があります。
これらの問題に対処するために、この論文では潜在特徴指向拡散確率モデル (LDDPM) を提案します。
まず、LR 画像を効果的に符号化できる条件付きエンコーダを設計し、モデル画像再構成の解空間を削減し、それによって再構成画像の品質を向上させました。
次に、正規化されたフローとマルチモーダル敵対的トレーニングを採用し、複雑なマルチモーダル分布から学習して、ノイズ除去分布をモデル化しました。
これにより、最小限のサンプリング ステップ内で生成モデリング機能が強化されます。
私たちが提案したモデルと主流のデータセット上の既存の SISR 手法との実験比較は、私たちのモデルがより現実的な HR 画像を再構成し、複数の評価指標でより良いパフォーマンスを達成し、SISR タスクに取り組むための新たな視点を提供することを示しています。

要約(オリジナル)

Single-image super-resolution (SISR) typically focuses on restoring various degraded low-resolution (LR) images to a single high-resolution (HR) image. However, during SISR tasks, it is often challenging for models to simultaneously maintain high quality and rapid sampling while preserving diversity in details and texture features. This challenge can lead to issues such as model collapse, lack of rich details and texture features in the reconstructed HR images, and excessive time consumption for model sampling. To address these problems, this paper proposes a Latent Feature-oriented Diffusion Probability Model (LDDPM). First, we designed a conditional encoder capable of effectively encoding LR images, reducing the solution space for model image reconstruction and thereby improving the quality of the reconstructed images. We then employed a normalized flow and multimodal adversarial training, learning from complex multimodal distributions, to model the denoising distribution. Doing so boosts the generative modeling capabilities within a minimal number of sampling steps. Experimental comparisons of our proposed model with existing SISR methods on mainstream datasets demonstrate that our model reconstructs more realistic HR images and achieves better performance on multiple evaluation metrics, providing a fresh perspective for tackling SISR tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google