Multi-Scale RAFT: Combining Hierarchical Concepts for Learning-based Optical FLow Estimation

要約

多くの古典的で学習ベースのオプティカルフロー手法は、精度と堅牢性の両方を向上させるために階層的な概念に依存しています。
ただし、現在最も成功しているアプローチの1つであるRAFTは、このような概念をほとんど活用していません。
この作品では、マルチスケールのアイデアがまだ価値があることを示しています。
より正確には、ベースラインとしてRAFTを使用して、単一の推定フレームワーク内でいくつかの階層概念を組み合わせた新しいマルチスケールニューラルネットワークを提案します。
これらの概念には、（i）部分的に共有された粗いものから細かいものへのアーキテクチャ、（ii）マルチスケール機能、（iii）階層的なコスト量、および（iv）マルチスケールのマルチ反復損失が含まれます。
MPI SintelとKITTIでの実験は、私たちのアプローチの利点を明確に示しています。
それらは、RAFTと比較して大幅な改善だけでなく、特に非閉塞領域での最先端の結果も示しています。
コードはhttps://github.com/cv-stuttgart/MS_RAFTで入手できます。

要約(オリジナル)

Many classical and learning-based optical flow methods rely on hierarchical concepts to improve both accuracy and robustness. However, one of the currently most successful approaches — RAFT — hardly exploits such concepts. In this work, we show that multi-scale ideas are still valuable. More precisely, using RAFT as a baseline, we propose a novel multi-scale neural network that combines several hierarchical concepts within a single estimation framework. These concepts include (i) a partially shared coarse-to-fine architecture, (ii) multi-scale features, (iii) a hierarchical cost volume and (iv) a multi-scale multi-iteration loss. Experiments on MPI Sintel and KITTI clearly demonstrate the benefits of our approach. They show not only substantial improvements compared to RAFT, but also state-of-the-art results — in particular in non-occluded regions. Code will be available at https://github.com/cv-stuttgart/MS_RAFT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google