Image Super-Resolution using Efficient Striped Window Transformer

要約

最近、トランスベースの方法は、単一画像の超解像 (SR) において目覚ましい進歩を遂げました。
ただし、モデルのパフォーマンスと複雑さのバランスを取るという課題があるため、これらの方法を軽量 SR (LSR) に適用することは困難です。
本稿では、効率的なストライプ ウィンドウ トランスフォーマー (ESWT) を提案します。
ESWT は効率的な変換レイヤー (ETL) で構成され、クリーンな構造を可能にし、冗長な操作を回避します。
さらに、長期的な依存関係をモデル化する際により効率的な ESWT を取得するために、ストライプ ウィンドウ メカニズムを設計しました。
トランスフォーマーの可能性をさらに活用するために、新しい柔軟なウィンドウ トレーニング戦略を提案します。
追加コストなしで、この戦略は ESWT のパフォーマンスをさらに向上させることができます。
広範な実験により、提案された方法は、パラメーターが少なく、推論が高速で、FLOP が小さく、メモリ消費量が少ない最先端の変換器ベースの LSR 方法よりも優れており、モデルのパフォーマンスと複雑さの間のより良いトレードオフを達成することが示されています。

要約(オリジナル)

Recently, transformer-based methods have made impressive progress in single-image super-resolu-tion (SR). However, these methods are difficult to apply to lightweight SR (LSR) due to the challenge of balancing model performance and complexity. In this paper, we propose an efficient striped window transformer (ESWT). ESWT consists of efficient transformation layers (ETLs), allowing a clean structure and avoiding redundant operations. Moreover, we designed a striped window mechanism to obtain a more efficient ESWT in modeling long-term dependencies. To further exploit the potential of the transformer, we propose a novel flexible window training strategy. Without any additional cost, this strategy can further improve the performance of ESWT. Extensive experiments show that the proposed method outperforms state-of-the-art transformer-based LSR methods with fewer parameters, faster inference, smaller FLOPs, and less memory consumption, achieving a better trade-off between model performance and complexity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google