Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild

要約

生成事前分布とモデルのスケールアップの力を活用した画期的な画像復元手法である SUPIR (Scaling-UP Image Restoration) を紹介します。
マルチモーダル技術と高度な生成事前処理を活用することで、SUPIR はインテリジェントでリアルな画像復元に大きな進歩をもたらします。
SUPIR 内の極めて重要な触媒として、モデル スケーリングはその機能を劇的に強化し、画像復元の新たな可能性を実証します。
私たちは、モデル トレーニング用に 2,000 万枚の高解像度、高品質の画像で構成されるデータセットを収集します。各画像には説明的なテキストの注釈が付けられています。
SUPIR は、テキスト プロンプトに従って画像を復元する機能を提供し、その適用範囲と可能性を広げます。
さらに、知覚の質をさらに向上させるために、ネガティブな質のプロンプトを導入します。
また、生成ベースの復元で発生する忠実度の問題を抑制するための復元ガイド付きサンプリング手法も開発します。
実験では、SUPIR の並外れた修復効果と、テキストのプロンプトを通じて修復を操作する新しい能力が実証されています。

要約(オリジナル)

We introduce SUPIR (Scaling-UP Image Restoration), a groundbreaking image restoration method that harnesses generative prior and the power of model scaling up. Leveraging multi-modal techniques and advanced generative prior, SUPIR marks a significant advance in intelligent and realistic image restoration. As a pivotal catalyst within SUPIR, model scaling dramatically enhances its capabilities and demonstrates new potential for image restoration. We collect a dataset comprising 20 million high-resolution, high-quality images for model training, each enriched with descriptive text annotations. SUPIR provides the capability to restore images guided by textual prompts, broadening its application scope and potential. Moreover, we introduce negative-quality prompts to further improve perceptual quality. We also develop a restoration-guided sampling method to suppress the fidelity issue encountered in generative-based restoration. Experiments demonstrate SUPIR’s exceptional restoration effects and its novel capacity to manipulate restoration through textual prompts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google