Bilateral Network with Channel Splitting Network and Transformer for Thermal Image Super-Resolution

要約

近年、熱画像超解像（TISR）問題は魅力的な研究トピックになっています。
TISRは、軍事、医療、農業、動物生態学など、幅広い分野で使用されます。
PBVS-2020およびPBVS-2021ワークショップチャレンジの成功により、TISRの結果は改善を続け、PBVS-2022チャレンジにサインアップするためにより多くの研究者を引き付けています。
この論文では、TISR問題に取り組むためにチャネル分割ネットワークと変圧器（BN-CSNT）を備えたバイラテラルネットワークを設計するPBVS-2022チャレンジへの提出の技術的な詳細を紹介します。
まず、十分なコンテキスト情報を取得するために、トランスフォーマーを備えたチャネル分割ネットワークに基づくコンテキストブランチを設計しました。
次に、空間情報を保存できる低レベルの特徴を抽出するために、浅いトランスフォーマーを備えた空間ブランチを設計しました。
最後に、チャネル分割ネットワークとトランスフォーマーからの機能を融合するためのコンテキストブランチについて、注意改良モジュールを提案し、次にコンテキストブランチと空間ブランチからの機能を提案された機能融合モジュールによって融合します。
提案された方法は、PBVS-2022チャレンジテストデータセットで、x4に対してPSNR = 33.64、SSIM = 0.9263、x2に対してPSNR = 21.08、SSIM=0.7803を達成できます。

要約(オリジナル)

In recent years, the Thermal Image Super-Resolution (TISR) problem has become an attractive research topic. TISR would been used in a wide range of fields, including military, medical, agricultural and animal ecology. Due to the success of PBVS-2020 and PBVS-2021 workshop challenge, the result of TISR keeps improving and attracts more researchers to sign up for PBVS-2022 challenge. In this paper, we will introduce the technical details of our submission to PBVS-2022 challenge designing a Bilateral Network with Channel Splitting Network and Transformer(BN-CSNT) to tackle the TISR problem. Firstly, we designed a context branch based on channel splitting network with transformer to obtain sufficient context information. Secondly, we designed a spatial branch with shallow transformer to extract low level features which can preserve the spatial information. Finally, for the context branch in order to fuse the features from channel splitting network and transformer, we proposed an attention refinement module, and then features from context branch and spatial branch are fused by proposed feature fusion module. The proposed method can achieve PSNR=33.64, SSIM=0.9263 for x4 and PSNR=21.08, SSIM=0.7803 for x2 in the PBVS-2022 challenge test dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google