Optical Flow Estimation in 360$^\circ$ Videos: Dataset, Model and Application

要約

オプティカル フローの推定は、コンピューター ビジョン コミュニティで長く続いている基本的な問題です。
ただし、パースペクティブ ビデオでのオプティカル フロー推定の進歩にもかかわらず、主にベンチマーク データセットの不足と 360$^\circ$ の全方向性に対応できていないため、360$^\circ$ ビデオの対応物はまだ初期段階にあります。
ビデオ。
40 の異なるビデオと 4,000 のビデオ フレームを含む、最初の知覚的にリアルな 360$^\circ$ 視野のビデオ ベンチマーク データセット、つまり FLOW360 を提案します。
次に、包括的な特性分析と既存のデータセットとの広範な比較を行い、FLOW360 の知覚的リアリズム、独自性、および多様性を明らかにします。
さらに、全方向フロー (SLOF) 推定のための新しいシャム表現学習フレームワークを提示します。これは、シャム対比損失とオプティカル フロー損失を組み合わせたハイブリッド損失を介して対比的にトレーニングされます。
入力全方向フレームのランダム回転でモデルをトレーニングすることにより、提案された対照的なスキームは、360$^\circ$ ビデオのオプティカル フロー推定の全方向性に対応し、予測エラーを大幅に削減します。
学習スキームは、シャム学習スキームと全方向オプティカル フロー推定を自己中心的な活動認識タスクに拡張することで効率的であることがさらに証明され、分類精度は $\sim$26% まで向上します。
要約すると、ベンチマーク データセット、学習モデル、および実用的なアプリケーションの観点から、360$^\circ$ ビデオ問題におけるオプティカル フロー推定を検討します。
FLOW360 のデータセットとコードは、https://siamlof.github.io で入手できます。

要約(オリジナル)

Optical flow estimation has been a long-lasting and fundamental problem in the computer vision community. However, despite the advances of optical flow estimation in perspective videos, the 360$^\circ$ videos counterpart remains in its infancy, primarily due to the shortage of benchmark datasets and the failure to accommodate the omnidirectional nature of 360$^\circ$ videos. We propose the first perceptually realistic 360$^\circ$ filed-of-view video benchmark dataset, namely FLOW360, with 40 different videos and 4,000 video frames. We then conduct comprehensive characteristic analysis and extensive comparisons with existing datasets, manifesting FLOW360’s perceptual realism, uniqueness, and diversity. Moreover, we present a novel Siamese representation Learning framework for Omnidirectional Flow (SLOF) estimation, which is trained in a contrastive manner via a hybrid loss that combines siamese contrastive and optical flow losses. By training the model on random rotations of the input omnidirectional frames, our proposed contrastive scheme accommodates the omnidirectional nature of optical flow estimation in 360$^\circ$ videos, resulting in significantly reduced prediction errors. The learning scheme is further proven to be efficient by expanding our siamese learning scheme and omnidirectional optical flow estimation to the egocentric activity recognition task, where the classification accuracy is boosted up to $\sim$26%. To summarize, we study the optical flow estimation in 360$^\circ$ videos problem from perspectives of the benchmark dataset, learning model, and also practical application. The FLOW360 dataset and code are available at https://siamlof.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google