360VFI: A Dataset and Benchmark for Omnidirectional Video Frame Interpolation

要約

VR関連技術の発展により、視聴者はヘッドマウントディスプレイを通じてリアルで没入感のある体験を楽しむことができる一方で、低フレームレートの全方位ビデオはめまいを引き起こす可能性があります。
しかし、一般的な平面フレーム補間手法は全方向ビデオ補間には適していません。これは主に、歪みの強いビデオに合わせて調整されたモデルが不足していることと、全方向ビデオ フレーム補間用の貴重なデータセットが不足していることが原因です。
このペーパーでは、全方向ビデオ フレーム補間のベンチマーク データセット 360VFI を紹介します。
全方向ビデオからネットワークに事前に歪みを導入して歪みを変調する実際的な実装を紹介します。
特に、事前情報として正距円筒図法 (ERP) 形式の固有の特性を使用するピラミッド歪みに敏感な特徴抽出器を提案します。
さらに、中間フレームの合成をさらに容易にするためにアフィン変換を使用するデコーダを考案しました。
360VFI は、全方向ビデオ フレーム補間の課題を調査する最初のデータセットおよびベンチマークです。
ベンチマーク分析を通じて、提案された 360VFI データセット内の 4 つの異なる歪み条件シーンを提示し、補間中の歪みによって引き起こされる課題を評価しました。
さらに、実験結果は、全方向ビデオ補間が全方向歪みのモデリングによって効果的に改善できることを示しています。

要約(オリジナル)

With the development of VR-related techniques, viewers can enjoy a realistic and immersive experience through a head-mounted display, while omnidirectional video with a low frame rate can lead to user dizziness. However, the prevailing plane frame interpolation methodologies are unsuitable for Omnidirectional Video Interpolation, chiefly due to the lack of models tailored to such videos with strong distortion, compounded by the scarcity of valuable datasets for Omnidirectional Video Frame Interpolation. In this paper, we introduce the benchmark dataset, 360VFI, for Omnidirectional Video Frame Interpolation. We present a practical implementation that introduces a distortion prior from omnidirectional video into the network to modulate distortions. We especially propose a pyramid distortion-sensitive feature extractor that uses the unique characteristics of equirectangular projection (ERP) format as prior information. Moreover, we devise a decoder that uses an affine transformation to facilitate the synthesis of intermediate frames further. 360VFI is the first dataset and benchmark that explores the challenge of Omnidirectional Video Frame Interpolation. Through our benchmark analysis, we presented four different distortion conditions scenes in the proposed 360VFI dataset to evaluate the challenge triggered by distortion during interpolation. Besides, experimental results demonstrate that Omnidirectional Video Interpolation can be effectively improved by modeling for omnidirectional distortion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google