A Comprehensive Comparison of Projections in Omnidirectional Super-Resolution

要約

タイトル：全天球超解像度の投影法における包括的比較。

要約：
– 近年、超解像度技術が注目を集めている。
– 深層ニューラルネットワークの発展に伴い、DNNに基づく多くの超解像度手法が提案されている。
– これらの多くの手法は通常のフレームに向けられているが、全天球フレームの超解像度に関する研究は少ない。
– これらの研究では、全天球フレームはEqui-Rectangular Projection（ERP）によって3D球から2D平面に投影される。しかし、ERPは極付近で投影歪みが生じるため、問題がある。
– 現在のDNNベースの超解像度手法は2D畳み込みモジュールを使用しているため、正規格子に適している。しかし、それ以外の投影法に対しては効果が薄い可能性がある。
– この論文では、異なる投影法がDNNの性能に大きな影響を与えることがわかったため、全天球超解像度の投影法における包括的比較が行われた。
– 異なる投影法のSR結果を比較し、極小歪みであるEqui-Angular cube map projection（EAC）が他の投影法と比較して、WS-PSNRの観点で最良の結果を示したことが実験結果によって明らかになった。
– コードとデータが公開される。

要約(オリジナル)

Super-Resolution (SR) has gained increasing research attention over the past few years. With the development of Deep Neural Networks (DNNs), many super-resolution methods based on DNNs have been proposed. Although most of these methods are aimed at ordinary frames, there are few works on super-resolution of omnidirectional frames. In these works, omnidirectional frames are projected from the 3D sphere to a 2D plane by Equi-Rectangular Projection (ERP). Although ERP has been widely used for projection, it has severe projection distortion near poles. Current DNN-based SR methods use 2D convolution modules, which is more suitable for the regular grid. In this paper, we find that different projection methods have great impact on the performance of DNNs. To study this problem, a comprehensive comparison of projections in omnidirectional super-resolution is conducted. We compare the SR results of different projection methods. Experimental results show that Equi-Angular cube map projection (EAC), which has minimal distortion, achieves the best result in terms of WS-PSNR compared with other projections. Code and data will be released.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI