GMFlow: Learning Optical Flow via Global Matching

要約

学習ベースのオプティカルフロー推定は、フロー回帰の畳み込みを伴うコストボリュームのパイプラインによって支配されてきました。これは、本質的にローカル相関に限定されているため、大変位の長年の課題に対処するのは困難です。
これを軽減するために、最先端のフレームワークRAFTは、多数の反復的な改良を使用して予測品質を徐々に改善し、優れたパフォーマンスを実現しますが、推論時間を直線的に増加させます。
高精度と高効率の両方を可能にするために、オプティカルフローをグローバルマッチング問題として再定式化することにより、支配的なフロー回帰パイプラインを完全に刷新します。これは、機能の類似性を直接比較することによって対応を識別します。
具体的には、GMFlowフレームワークを提案します。これは、機能拡張用のカスタマイズされたTransformer、グローバル機能マッチング用の相関およびソフトマックスレイヤー、フロー伝播用の自己注意レイヤーの3つの主要コンポーネントで構成されます。
さらに、残留フロー予測のために、より高いフィーチャ解像度でGMFlowを再利用する改良ステップを紹介します。
私たちの新しいフレームワークは、挑戦的なSintelベンチマークで31リファインメントRAFTを上回りますが、1つのリファインメントのみを使用し、より高速に実行され、正確で効率的なオプティカルフロー推定の新しいパラダイムを示唆しています。
コードはhttps://github.com/haofeixu/gmflowで入手できます。

要約(オリジナル)

Learning-based optical flow estimation has been dominated with the pipeline of cost volume with convolutions for flow regression, which is inherently limited to local correlations and thus is hard to address the long-standing challenge of large displacements. To alleviate this, the state-of-the-art framework RAFT gradually improves its prediction quality by using a large number of iterative refinements, achieving remarkable performance but introducing linearly increasing inference time. To enable both high accuracy and efficiency, we completely revamp the dominant flow regression pipeline by reformulating optical flow as a global matching problem, which identifies the correspondences by directly comparing feature similarities. Specifically, we propose a GMFlow framework, which consists of three main components: a customized Transformer for feature enhancement, a correlation and softmax layer for global feature matching, and a self-attention layer for flow propagation. We further introduce a refinement step that reuses GMFlow at higher feature resolution for residual flow prediction. Our new framework outperforms 31-refinements RAFT on the challenging Sintel benchmark, while using only one refinement and running faster, suggesting a new paradigm for accurate and efficient optical flow estimation. Code is available at https://github.com/haofeixu/gmflow.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google