EWT: Efficient Wavelet-Transformer for Single Image Denoising

要約

タイトル：単一画像のノイズ除去のための効率的なウェーブレット変換

要約：
– Transformerベースの画像ノイズ除去手法が過去1年間において良好な結果を出してきたが、長距離依存関係をモデリングするために線形演算を使用するため、モデル推論時間やGPUストレージスペースの消費が大きくなるという問題がある。
– 現在のTransformerベースの画像ノイズ除去手法は、畳み込みニューラルネットワークベースの手法と比較して、性能向上とリソース消費のバランスを実現することができない。
– 本論文では、効率的なウェーブレット変換（EWT）を画像ノイズ除去に用いることを提案する。具体的には、離散ウェーブレット変換（DWT）と逆ウェーブレット変換（IWT）を用いてダウンサンプリングとアップサンプリングを行う。この方法は、画像の解像度を低下させることで画像の特徴を完全に維持しながら、Transformerモデルのデバイスリソース消費を大幅に減少させることができる。
– さらに、我々は、異なるレベルの画像特徴を抽出するために、新しいデュアルストリーム特徴抽出ブロック（DFEB）を提案することで、モデル推論時間とGPUメモリ使用量をさらに削減することを目的とする。実験の結果、本手法は元のTransformerを80％以上高速化し、GPUメモリ使用量を60％以上削減し、優れたノイズ除去効果を実現することができる。また、全てのコードは公開される。

要約(オリジナル)

Transformer-based image denoising methods have achieved encouraging results in the past year. However, it must uses linear operations to model long-range dependencies, which greatly increases model inference time and consumes GPU storage space. Compared with convolutional neural network-based methods, current Transformer-based image denoising methods cannot achieve a balance between performance improvement and resource consumption. In this paper, we propose an Efficient Wavelet Transformer (EWT) for image denoising. Specifically, we use Discrete Wavelet Transform (DWT) and Inverse Wavelet Transform (IWT) for downsampling and upsampling, respectively. This method can fully preserve the image features while reducing the image resolution, thereby greatly reducing the device resource consumption of the Transformer model. Furthermore, we propose a novel Dual-stream Feature Extraction Block (DFEB) to extract image features at different levels, which can further reduce model inference time and GPU memory usage. Experiments show that our method speeds up the original Transformer by more than 80%, reduces GPU memory usage by more than 60%, and achieves excellent denoising results. All code will be public.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI