OSRT: Omnidirectional Image Super-Resolution with Distortion-aware Transformer

要約

全方位映像（ODI）は、没入感を得るために多くの研究成果を上げています。しかし、全方位映像の解像度は不十分である。従来の手法では、等緯経度投影（ERP）画像の超解像（SR）により、この問題を解決しようと試みている。しかし，これらの手法では，劣化処理においてERPの幾何学的特性が省略されており，そのモデルは実ERP画像に対してほとんど一般化できない．本論文では，実世界の画像処理を模倣し，より現実的な低解像度サンプルを合成するFisheye downsamplingを提案する．そして、ERPの歪みを連続的かつ自己適応的に変調する歪み考慮型変換器(OSRT)を設計する。OSRTは面倒な処理をすることなく、PSNRで約0.2dB、従来の方法を上回る性能を発揮する。さらに、我々は、プレーン画像から擬似ERP画像を合成する便利なデータ補強戦略を提案する。この簡単な戦略により、大規模ネットワークのオーバーフィッティング問題を緩和し、ODISRの性能を大幅に向上させることができる。広範な実験により、我々のOSRTが最先端の性能を持つことが実証された。コードとモデルは https://github.com/Fanghua-Yu/OSRT で公開されます。

要約(オリジナル)

Omnidirectional images (ODIs) have obtained lots of research interest for immersive experiences. Although ODIs require extremely high resolution to capture details of the entire scene, the resolutions of most ODIs are insufficient. Previous methods attempt to solve this issue by image super-resolution (SR) on equirectangular projection (ERP) images. However, they omit geometric properties of ERP in the degradation process, and their models can hardly generalize to real ERP images. In this paper, we propose Fisheye downsampling, which mimics the real-world imaging process and synthesizes more realistic low-resolution samples. Then we design a distortion-aware Transformer (OSRT) to modulate ERP distortions continuously and self-adaptively. Without a cumbersome process, OSRT outperforms previous methods by about 0.2dB on PSNR. Moreover, we propose a convenient data augmentation strategy, which synthesizes pseudo ERP images from plain images. This simple strategy can alleviate the over-fitting problem of large networks and significantly boost the performance of ODISR. Extensive experiments have demonstrated the state-of-the-art performance of our OSRT. Codes and models will be available at https://github.com/Fanghua-Yu/OSRT.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL