Temporally Consistent Stereo Matching

要約

ステレオ マッチングにより、下流アプリケーション向けに両眼画像からの深度推定が可能になります。
これらのアプリケーションは主にビデオ ストリームを入力として受け取り、時間的に一貫した深度マップを必要とします。
ただし、既存の方法は主に単一フレーム レベルでの推定に焦点を当てています。
これは一般に、特に不適切な領域で時間的に一貫性のない結果をもたらします。
この論文では、時間情報を活用して、ステレオ マッチングの時間的一貫性、精度、効率を向上させることを目指しています。
これを達成するために、ビデオ ステレオ マッチングを、時間的視差の完了とそれに続く継続的な反復改良のプロセスとして定式化します。
具体的には、まず前のタイムスタンプの視差を現在の視点に投影し、半密視差マップを取得します。
次に、視差完了モジュールを通じてこのマップを完成させ、適切に初期化された視差マップを取得します。
現在の完了モジュールと過去のリファインメントからの状態特徴が融合され、その後のリファインメントに時間的に一貫した状態が提供されます。
このコヒーレント状態に基づいて、視差空間と視差勾配空間の両方で初期化された結果を反復的に改良するデュアル空間改良モジュールを導入し、不適切な設定の領域での推定を改善します。
広範な実験により、私たちの方法が精度と効率の両方を向上させながら、時間的な不一致を効果的に軽減することが実証されました。

要約(オリジナル)

Stereo matching provides depth estimation from binocular images for downstream applications. These applications mostly take video streams as input and require temporally consistent depth maps. However, existing methods mainly focus on the estimation at the single-frame level. This commonly leads to temporally inconsistent results, especially in ill-posed regions. In this paper, we aim to leverage temporal information to improve the temporal consistency, accuracy, and efficiency of stereo matching. To achieve this, we formulate video stereo matching as a process of temporal disparity completion followed by continuous iterative refinements. Specifically, we first project the disparity of the previous timestamp to the current viewpoint, obtaining a semi-dense disparity map. Then, we complete this map through a disparity completion module to obtain a well-initialized disparity map. The state features from the current completion module and from the past refinement are fused together, providing a temporally coherent state for subsequent refinement. Based on this coherent state, we introduce a dual-space refinement module to iteratively refine the initialized result in both disparity and disparity gradient spaces, improving estimations in ill-posed regions. Extensive experiments demonstrate that our method effectively alleviates temporal inconsistency while enhancing both accuracy and efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google