SwinFSR: Stereo Image Super-Resolution using SwinIR and Frequency Domain Knowledge

要約

タイトル：SwinFSR：SwinIRと周波数領域知識を使用したステレオイメージの超解像

要約：

– ステレオイメージスーパーレゾリューション（stereoSR）は、携帯電話、自律型車両やロボットなどでデュアルカメラが広く展開されたため、近年注目を集めています。
– この研究では、シングルイメージリストア用に設計されたSwinIRを拡張し、Fast Fourier Convolution（FFC）によって取得された周波数領域知識を基にした新しいSwinFSRという新しいStereoSRメソッドを提案しています。
– グローバル情報を効果的に収集するために、SwinIRのResidual Swin Transformerブロック（RSTBs）を変更し、FFCを使用して明示的に周波数領域知識を組み込み、結果として得られたResidual Swin Fourier Transformerブロック（RSFTBs）を特徴抽出に使用しています。
– さらに、ステレオビューの効率的で正確なフュージョンのために、計算コストが最新のクロスアテンションモジュールよりも少なく、非常に競争力のあるパフォーマンスを発揮する新しいクロスアテンションモジュールであるRCAMを提案しています。
– 広範な実験結果と除去研究により、提案されたSwinFSRの有効性と効率性が示されています。

要約(オリジナル)

Stereo Image Super-Resolution (stereoSR) has attracted significant attention in recent years due to the extensive deployment of dual cameras in mobile phones, autonomous vehicles and robots. In this work, we propose a new StereoSR method, named SwinFSR, based on an extension of SwinIR, originally designed for single image restoration, and the frequency domain knowledge obtained by the Fast Fourier Convolution (FFC). Specifically, to effectively gather global information, we modify the Residual Swin Transformer blocks (RSTBs) in SwinIR by explicitly incorporating the frequency domain knowledge using the FFC and employing the resulting residual Swin Fourier Transformer blocks (RSFTBs) for feature extraction. Besides, for the efficient and accurate fusion of stereo views, we propose a new cross-attention module referred to as RCAM, which achieves highly competitive performance while requiring less computational cost than the state-of-the-art cross-attention modules. Extensive experimental results and ablation studies demonstrate the effectiveness and efficiency of our proposed SwinFSR.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI