Spatio-Temporal Distortion Aware Omnidirectional Video Super-Resolution

要約

全方向性ビデオ（ODV）は没入型の視覚体験を提供し、仮想現実と拡張現実で広く利用されています。
ただし、制限されたキャプチャデバイスとトランスミッション帯域幅は、低解像度ODVにつながります。
ビデオスーパー解像度（SR）は解像度を強化するために提案されていますが、実用的なODV空間投影の歪みと時間的フリッカリングは、既存の方法を直接適用することでよく対処されていません。
より良いODV-SR再構成を実現するために、ODV特性に向けた時空間歪み認識ネットワーク（STDAN）を提案します。
具体的には、個別の投影歪みを改善するために、空間的に連続的な歪み変調モジュールが導入されています。
次に、フレーム全体の時間的一貫性を改善するために、インターレースされたマルチフレーム再構成メカニズムを設計します。
さらに、トレーニング中に緯度に適応的な重みを組み込み、テクスチャの複雑さと人間を見る関心のある地域に集中します。
一般に、実用的なシナリオを備えた新しいODV-SRデータセットでアプリケーションに優しい方法を提供するために、推論のない実世界の視聴マッチング戦略を検討します。
広範な実験結果は、最先端の方法よりも提案されたStdanの優れた性能を示しています。

要約(オリジナル)

Omnidirectional video (ODV) provides an immersive visual experience and is widely utilized in virtual reality and augmented reality. However, restricted capturing devices and transmission bandwidth lead to low-resolution ODVs. Video super-resolution (SR) is proposed to enhance resolution, but practical ODV spatial projection distortions and temporal flickering are not well addressed directly applying existing methods. To achieve better ODV-SR reconstruction, we propose a Spatio-Temporal Distortion Aware Network (STDAN) oriented to ODV characteristics. Specifically, a spatially continuous distortion modulation module is introduced to improve discrete projection distortions. Next, we design an interlaced multi-frame reconstruction mechanism to refine temporal consistency across frames. Furthermore, we incorporate latitude-saliency adaptive weights during training to concentrate on regions with higher texture complexity and human-watching interest. In general, we explore inference-free and real-world viewing matched strategies to provide an application-friendly method on a novel ODV-SR dataset with practical scenarios. Extensive experimental results demonstrate the superior performance of the proposed STDAN over state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google