Less is More: Consistent Video Depth Estimation with Masked Frames Modeling

要約

時間的な一貫性は、ビデオ深度推定の重要な課題です。
以前の作品は、追加のオプティカル フローまたはカメラ ポーズに基づいており、時間がかかります。
対照的に、少ない情報で一貫性を導き出します。
ビデオは本質的に一時的な冗長性を持って存在するため、欠落しているフレームは隣接するフレームから復元できます。
これに触発されて、フレームマスキングネットワーク（FMNet）を提案します。これは、隣接するフレームに基づいてマスクされたフレームの深さを予測する時空間変換ネットワークです。
マスクされた時間的特徴を再構築することにより、FMNet は本質的なフレーム間の相関関係を学習でき、一貫性につながります。
従来技術と比較して、実験結果は、我々のアプローチが追加情報なしで同等の空間精度とより高い時間的一貫性を達成することを示しています。
私たちの仕事は、一貫したビデオ深度推定に関する新しい視点を提供します。
私たちの公式プロジェクト ページは https://github.com/RaymondWang987/FMNet です。

要約(オリジナル)

Temporal consistency is the key challenge of video depth estimation. Previous works are based on additional optical flow or camera poses, which is time-consuming. By contrast, we derive consistency with less information. Since videos inherently exist with heavy temporal redundancy, a missing frame could be recovered from neighboring ones. Inspired by this, we propose the frame masking network (FMNet), a spatial-temporal transformer network predicting the depth of masked frames based on their neighboring frames. By reconstructing masked temporal features, the FMNet can learn intrinsic inter-frame correlations, which leads to consistency. Compared with prior arts, experimental results demonstrate that our approach achieves comparable spatial accuracy and higher temporal consistency without any additional information. Our work provides a new perspective on consistent video depth estimation. Our official project page is https://github.com/RaymondWang987/FMNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google