Varformer: Adapting VAR’s Generative Prior for Image Restoration

要約

広範な高品質データセットでトレーニングされた生成モデルは、きれいな画像の構造的および統計的特性を効果的にキャプチャし、画像復元において劣化した特徴をきれいな特徴に変換するための強力な事前分布をレンダリングします。
VAR は、新しい画像生成パラダイムであり、次のスケールの予測アプローチを適用することにより、生成品質において拡散モデルを上回ります。
修復コミュニティで広く認められているマルチスケール修復の原則と一致して、自己回帰プロセスを通じて全体的な構造と詳細な詳細の両方を段階的にキャプチャします。
さらに、VAR を利用した画像再構成プロセス中に、スケール予測によって入力が自動的に調整され、その後のスケールでの表現とクリーンな画像の分布との位置合わせが容易になることが観察されています。
画像復元タスクで VAR の適応分布調整機能を利用するために、事前の復元として VAR 内のマルチスケール潜在表現を定式化し、繊細に設計された VarFormer フレームワークを前進させます。
これらの事前分布を戦略的に適用することで、VarFormer は、トレーニングの計算コストを削減しながら、目に見えないタスクで顕著な一般化を達成することができます。
広範な実験により、当社の VarFormer は、さまざまな復元タスクにわたって既存のマルチタスク画像復元方法よりも優れたパフォーマンスを発揮することが実証されました。

要約(オリジナル)

Generative models trained on extensive high-quality datasets effectively capture the structural and statistical properties of clean images, rendering them powerful priors for transforming degraded features into clean ones in image restoration. VAR, a novel image generative paradigm, surpasses diffusion models in generation quality by applying a next-scale prediction approach. It progressively captures both global structures and fine-grained details through the autoregressive process, consistent with the multi-scale restoration principle widely acknowledged in the restoration community. Furthermore, we observe that during the image reconstruction process utilizing VAR, scale predictions automatically modulate the input, facilitating the alignment of representations at subsequent scales with the distribution of clean images. To harness VAR’s adaptive distribution alignment capability in image restoration tasks, we formulate the multi-scale latent representations within VAR as the restoration prior, thus advancing our delicately designed VarFormer framework. The strategic application of these priors enables our VarFormer to achieve remarkable generalization on unseen tasks while also reducing training computational costs. Extensive experiments underscores that our VarFormer outperforms existing multi-task image restoration methods across various restoration tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google