Hybrid Cost Volume for Memory-Efficient Optical Flow

要約

現在の最先端のフロー手法は、ほとんどが高密度の全ペアのコスト ボリュームに基づいています。
ただし、画像の解像度が増加するにつれて、これらのコスト ボリュームを構築するための計算と空間の複雑さは 4 分の 1 で増大し、これらの方法は高解像度画像では実用的ではなくなります。
この論文では、HCV と呼ばれる、メモリ効率の高いオプティカル フローのための新しいハイブリッド コスト ボリュームを提案します。
HCV を構築するために、最初に 4D コスト ボリュームを 2 つのグローバル 3D コスト ボリュームに分離する Top-k 戦略を提案します。
これらのボリュームは、相当量の一致情報を保持しながら、メモリ使用量を大幅に削減します。
さらに、HCV のローカル情報を補完するローカル検索スペースを備えたローカル 4D コスト ボリュームを導入します。
HCV に基づいて、HCVFlow というメモリ効率の高いオプティカル フロー ネットワークを設計します。
全ペアのコスト ボリュームに基づく再帰フロー手法と比較して、当社の HCVFlow は高精度を確保しながらメモリ消費量を大幅に削減します。
私たちは、Sintel および KITTI データセットと現実世界の 4K (2160*3840) 解像度画像でこの方法の有効性と効率を検証します。
広範な実験により、HCVFlow のメモリ使用量は非常に低く、精度の点で他のメモリ効率の高い方法よりも優れていることがわかりました。
コードは https://github.com/gangweiX/HCVFlow で公開されています。

要約(オリジナル)

Current state-of-the-art flow methods are mostly based on dense all-pairs cost volumes. However, as image resolution increases, the computational and spatial complexity of constructing these cost volumes grows at a quartic rate, making these methods impractical for high-resolution images. In this paper, we propose a novel Hybrid Cost Volume for memory-efficient optical flow, named HCV. To construct HCV, we first propose a Top-k strategy to separate the 4D cost volume into two global 3D cost volumes. These volumes significantly reduce memory usage while retaining a substantial amount of matching information. We further introduce a local 4D cost volume with a local search space to supplement the local information for HCV. Based on HCV, we design a memory-efficient optical flow network, named HCVFlow. Compared to the recurrent flow methods based the all-pairs cost volumes, our HCVFlow significantly reduces memory consumption while ensuring high accuracy. We validate the effectiveness and efficiency of our method on the Sintel and KITTI datasets and real-world 4K (2160*3840) resolution images. Extensive experiments show that our HCVFlow has very low memory usage and outperforms other memory-efficient methods in terms of accuracy. The code is publicly available at https://github.com/gangweiX/HCVFlow.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google