RestoreVAR: Visual Autoregressive Generation for All-in-One Image Restoration

要約

安定した拡散などの潜在的な拡散モデル（LDMS）の使用は、オールインワン画像修復（AIOR）メソッドの知覚品質を大幅に改善し、その一般化能力も強化しました。
ただし、これらのLDMベースのフレームワークは、反復的な除去プロセスにより、ゆっくりと推論され、時間に敏感なアプリケーションに対して非実用的になります。
これに対処するために、Restorevarを提案します。これは、$ \ mathbf {10 \ times} $を超える$ \ mathbf {10 \ times} $を達成しながら、復元パフォーマンスでLDMベースのモデルを大幅に上回るための新しい生成アプローチです。
Restorevarは、画像生成のためにスケールスペースの自己回復を実行する最近導入されたアプローチである視覚的自己回帰モデリング（VAR）を活用します。
VARは、計算コストが大幅に削減された、最先端の拡散トランスのパフォーマンスと同等のパフォーマンスを達成します。
これらの利点のVARの利点を最適に活用するために、複雑に設計されたクロスアテナンスメカニズムや、AIORタスクに合わせた潜在的な空間洗練モジュールなど、建築の修正と改善を提案します。
広範な実験では、RestoreVarが生成的なAIORメソッド間で最先端のパフォーマンスを達成すると同時に、強力な一般化能力を示していることが示されています。

要約(オリジナル)

The use of latent diffusion models (LDMs) such as Stable Diffusion has significantly improved the perceptual quality of All-in-One image Restoration (AiOR) methods, while also enhancing their generalization capabilities. However, these LDM-based frameworks suffer from slow inference due to their iterative denoising process, rendering them impractical for time-sensitive applications. To address this, we propose RestoreVAR, a novel generative approach for AiOR that significantly outperforms LDM-based models in restoration performance while achieving over $\mathbf{10\times}$ faster inference. RestoreVAR leverages visual autoregressive modeling (VAR), a recently introduced approach which performs scale-space autoregression for image generation. VAR achieves comparable performance to that of state-of-the-art diffusion transformers with drastically reduced computational costs. To optimally exploit these advantages of VAR for AiOR, we propose architectural modifications and improvements, including intricately designed cross-attention mechanisms and a latent-space refinement module, tailored for the AiOR task. Extensive experiments show that RestoreVAR achieves state-of-the-art performance among generative AiOR methods, while also exhibiting strong generalization capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google