OSRT: Omnidirectional Image Super-Resolution with Distortion-aware Transformer

要約

全方向性画像 (ODI) は、没入型体験に関する多くの研究の関心を集めています。
ODI はシーン全体の詳細をキャプチャするために非常に高い解像度を必要としますが、ほとんどの ODI の解像度は不十分です。
以前の方法では、正距円筒図法 (ERP) 画像の画像超解像 (SR) によってこの問題を解決しようとしました。
しかし、彼らは劣化過程における ERP の幾何学的特性を省略しており、そのモデルは実際の ERP 画像に一般化することはほとんどできません。
このホワイト ペーパーでは、現実世界のイメージング プロセスを模倣し、より現実的な低解像度サンプルを合成するフィッシュアイ ダウンサンプリングを提案します。
次に、ERP の歪みを継続的かつ自己適応的に変調する歪み認識型トランスフォーマー (OSRT) を設計します。
面倒なプロセスなしで、OSRT は以前の方法よりも PSNR で約 0.2dB 優れています。
さらに、単純な画像から擬似ERP画像を合成する便利なデータ拡張戦略を提案します。
この単純な戦略は、大規模なネットワークの過適合の問題を軽減し、ODISR のパフォーマンスを大幅に向上させることができます。
広範な実験により、OSRT の最先端の性能が実証されました。
コードとモデルは、https://github.com/Fanghua-Yu/OSRT で入手できます。

要約(オリジナル)

Omnidirectional images (ODIs) have obtained lots of research interest for immersive experiences. Although ODIs require extremely high resolution to capture details of the entire scene, the resolutions of most ODIs are insufficient. Previous methods attempt to solve this issue by image super-resolution (SR) on equirectangular projection (ERP) images. However, they omit geometric properties of ERP in the degradation process, and their models can hardly generalize to real ERP images. In this paper, we propose Fisheye downsampling, which mimics the real-world imaging process and synthesizes more realistic low-resolution samples. Then we design a distortion-aware Transformer (OSRT) to modulate ERP distortions continuously and self-adaptively. Without a cumbersome process, OSRT outperforms previous methods by about 0.2dB on PSNR. Moreover, we propose a convenient data augmentation strategy, which synthesizes pseudo ERP images from plain images. This simple strategy can alleviate the over-fitting problem of large networks and significantly boost the performance of ODISR. Extensive experiments have demonstrated the state-of-the-art performance of our OSRT. Codes and models will be available at https://github.com/Fanghua-Yu/OSRT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google