UHD Image Deblurring via Multi-scale Cubic-Mixer

要約

現在、画像デブラーリングの領域では、変換器ベースのアルゴリズムが大きな反響を呼んでいる。その成果は、トークン間の長距離依存性をモデル化するためのCNNステムによる自己アテンション機構に依存している。残念ながら、この耳ざわりの良いパイプラインは高い計算複雑性をもたらし、単一のGPUで超高精細画像を実時間で実行することが困難です。精度と効率をトレードオフにするため、入力された劣化画像は、自己アテンション機構なしに3次元（$C$、$W$、$H$）の信号にわたって循環的に計算されます。このディープネットワークをマルチスケールキュービックミキサーと呼び、高速フーリエ変換後の実数成分と虚数成分の両方に作用させてフーリエ係数を推定し、デボリューション画像を得る。さらに、マルチスケールキュービックミキサーとスライス戦略を組み合わせることで、より低い計算コストで高品質な結果を生成することができる。実験により、提案アルゴリズムは、複数のベンチマークと新しい超高精細データセットにおいて、精度と速度の面で、最新のデブラーリングアプローチに対して良好な性能を示すことが示された。

要約(オリジナル)

Currently, transformer-based algorithms are making a splash in the domain of image deblurring. Their achievement depends on the self-attention mechanism with CNN stem to model long range dependencies between tokens. Unfortunately, this ear-pleasing pipeline introduces high computational complexity and makes it difficult to run an ultra-high-definition image on a single GPU in real time. To trade-off accuracy and efficiency, the input degraded image is computed cyclically over three dimensional ($C$, $W$, and $H$) signals without a self-attention mechanism. We term this deep network as Multi-scale Cubic-Mixer, which is acted on both the real and imaginary components after fast Fourier transform to estimate the Fourier coefficients and thus obtain a deblurred image. Furthermore, we combine the multi-scale cubic-mixer with a slicing strategy to generate high-quality results at a much lower computational cost. Experimental results demonstrate that the proposed algorithm performs favorably against the state-of-the-art deblurring approaches on the several benchmarks and a new ultra-high-definition dataset in terms of accuracy and speed.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL