CGCV:Context Guided Correlation Volume for Optical Flow Neural Networks

要約

ビデオ フレームのペアから見かけの動きを計算するオプティカル フローは、シーンの動きを推定するための重要なツールです。
相関ボリュームは、オプティカル フロー計算ニューラル モデルの中心的なコンポーネントです。
クロスフレーム機能間のペアワイズ マッチング コストを推定し、オプティカル フローのデコードに使用します。
ただし、従来の相関ボリュームはノイズが多く、外れ値が発生しやすく、モーション ブラーの影響を受けやすいことがよくあります。
最近の RAFT アルゴリズムも従来の相関ボリュームを採用していますが、その追加のコンテキスト エンコーダーは意味的に代表的な機能をフロー デコーダーに提供し、相関ボリュームの不足を暗黙のうちに補っています。
ただし、このコンテキスト エンコーダーの利点については、ほとんど議論も活用もされていません。
この論文では、最初にRAFTのコンテキストエンコーダの機能を調査し、次にゲーティングおよびリフティングスキームを介して新しいContext Guided Correlation Volume（CGCV）を提案します。
CGCV は、RAFT ベースのフロー計算方法と普遍的に統合して、パフォーマンスを向上させることができます。特に、モーション ブラー、デフォーカス ブラー、および大気効果が存在する場合に効果的です。
提案された CGCV を以前の Global Motion Aggregation (GMA) メソッドに組み込むことで、わずか 0.5% の追加パラメーターのコストで、GMA のランクは KITTI 2015 リーダー ボードで 23 位、Sintel リーダー ボードで 3 位上昇します。
さらに、大規模な実験で検証されているように、同様のモデルサイズで、トランスフォーマーまたはグラフ推論を使用する最先端のピア監視モデルに匹敵する、または優れたパフォーマンスを実現します。

要約(オリジナル)

Optical flow, which computes the apparent motion from a pair of video frames, is a critical tool for scene motion estimation. Correlation volume is the central component of optical flow computational neural models. It estimates the pairwise matching costs between cross-frame features, and is then used to decode optical flow. However, traditional correlation volume is frequently noisy, outlier-prone, and sensitive to motion blur. We observe that, although the recent RAFT algorithm also adopts the traditional correlation volume, its additional context encoder provides semantically representative features to the flow decoder, implicitly compensating for the deficiency of the correlation volume. However, the benefits of this context encoder has been barely discussed or exploited. In this paper, we first investigate the functionality of RAFT’s context encoder, then propose a new Context Guided Correlation Volume (CGCV) via gating and lifting schemes. CGCV can be universally integrated with RAFT-based flow computation methods for enhanced performance, especially effective in the presence of motion blur, de-focus blur and atmospheric effects. By incorporating the proposed CGCV with previous Global Motion Aggregation (GMA) method, at a minor cost of 0.5% extra parameters, the rank of GMA is lifted by 23 places on KITTI 2015 Leader Board, and 3 places on Sintel Leader Board. Moreover, at a similar model size, our correlation volume achieves competitive or superior performance to state of the art peer supervised models that employ Transformers or Graph Reasoning, as verified by extensive experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google