Efficient Correlation Volume Sampling for Ultra-High-Resolution Optical Flow Estimation

要約

最近の光フロー推定方法は、しばしば密な全ペア相関ボリュームからのローカルコストサンプリングを採用しています。
これにより、ピクセル数の2次計算とメモリの複雑さが生じます。
オンデマンドコスト計算を伴う代替メモリ効率の高い実装は存在しますが、これは実際には遅くなるため、通常の方法は解像度の削減で画像を処理し、細粒の詳細が欠落しています。
これに対処するために、RAFTで定義されている正確な数学演算子と一致して、全ペア相関ボリュームサンプリングのより効率的な実装を提案します。
私たちのアプローチは、メモリの使用量が低いことを維持しながら、オンデマンドサンプリングを最大90％上回り、メモリ使用量が最大95％低いデフォルトの実装と同等です。
コストサンプリングは、ランタイム全体の大部分を占めるため、これはメモリが制約された環境での総エンドツーエンドモデル推論に対して最大50％の節約に変換できます。
既存の方法の評価には、8kの超高解像度データセットと、最近のSea-Raftメソッドの追加の推論時間変更が含まれます。
これにより、精度と効率の両方で高解像度で最先端の結果を達成します。

要約(オリジナル)

Recent optical flow estimation methods often employ local cost sampling from a dense all-pairs correlation volume. This results in quadratic computational and memory complexity in the number of pixels. Although an alternative memory-efficient implementation with on-demand cost computation exists, this is slower in practice and therefore prior methods typically process images at reduced resolutions, missing fine-grained details. To address this, we propose a more efficient implementation of the all-pairs correlation volume sampling, still matching the exact mathematical operator as defined by RAFT. Our approach outperforms on-demand sampling by up to 90% while maintaining low memory usage, and performs on par with the default implementation with up to 95% lower memory usage. As cost sampling makes up a significant portion of the overall runtime, this can translate to up to 50% savings for the total end-to-end model inference in memory-constrained environments. Our evaluation of existing methods includes an 8K ultra-high-resolution dataset and an additional inference-time modification of the recent SEA-RAFT method. With this, we achieve state-of-the-art results at high resolutions both in accuracy and efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google