Efficient Image Deblurring Networks based on Diffusion Models

要約

この記事では、Swintormer という焦点ぼけ除去用のスライディング ウィンドウ モデルを紹介します。このモデルは、メモリ使用量が著しく低く、これまでで最高のパフォーマンスを実現します。
この方法では、拡散モデルを利用して潜在的な事前特徴を生成し、より詳細な画像の復元を支援します。
さらに、スライディング ウィンドウ戦略を適応させることで、専用の Transformer ブロックが組み込まれ、推論効率が向上します。
この新しいアプローチの採用により、反復ごとの積和演算 (MAC) が大幅に削減され、メモリ要件が大幅に削減されました。
現在主流の GRL 手法と比較して、当社の Swintormer モデルは、メモリ容量に依存する計算負荷を 140.35 GMAC から 8.02 GMAC に大幅に削減し、同時にぼけぼけのピーク信号対雑音比 (PSNR) を 27.04 dB から改善します。
27.07dBまで。
この革新的な技術により、メモリが限られたデバイス上で高解像度の画像を処理できるようになり、潜在的なアプリケーション シナリオが大幅に広がります。
この記事はアブレーション研究で締めくくられ、各ネットワーク モジュールが最終パフォーマンスにどのように寄与するかについての包括的な調査を提供します。ソース コードとモデルは、Web サイト https://github.com/bnm6900030/swintormer で入手できます。

要約(オリジナル)

This article presents a sliding window model for defocus deblurring, named Swintormer, which achieves the best performance to date with remarkably low memory usage. This method utilizes a diffusion model to generate latent prior features, aiding in the restoration of more detailed images. Additionally, by adapting the sliding window strategy, it incorporates specialized Transformer blocks to enhance inference efficiency. The adoption of this new approach has led to a substantial reduction in Multiply-Accumulate Operations (MACs) per iteration, drastically cutting down memory requirements. In comparison to the currently leading GRL method, our Swintormer model significantly reduces the computational load that must depend on memory capacity, from 140.35 GMACs to 8.02 GMACs, while improving the Peak Signal-to-Noise Ratio (PSNR) for defocus deblurring from 27.04 dB to 27.07 dB. This innovative technique enables the processing of higher resolution images on memory-limited devices, vastly broadening potential application scenarios. The article wraps up with an ablation study, offering a comprehensive examination of how each network module contributes to the final performance.The source code and model will be available at the following website: https://github.com/bnm6900030/swintormer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google