NeuFlow v2: High-Efficiency Optical Flow Estimation on Edge Devices

要約

リアルタイムの高精度オプティカル フロー推定は、現実世界のさまざまなアプリケーションにとって非常に重要です。
最近の学習ベースのオプティカル フロー手法は高い精度を達成していますが、多くの場合、多大な計算コストがかかります。
この論文では、高精度と計算量の削減のバランスをとった高効率なオプティカル フロー手法を提案します。
NeuFlow v1 を基盤として、より軽量なバックボーンや高速な改良モジュールなどの新しいコンポーネントを導入しています。
これらのモジュールは両方とも、最先端に近い精度を提供しながら、計算要求を軽減するのに役立ちます。
他の最先端の手法と比較して、私たちのモデルは合成データと現実世界のデータの両方で同等のパフォーマンスを維持しながら、10 倍から 70 倍の高速化を達成します。
Jetson Orin Nano では、解像度 512×384 の画像で 20 FPS 以上で実行できます。
完全なトレーニングおよび評価コードは、https://github.com/neufieldrobotics/NeuFlow_v2 で入手できます。

要約(オリジナル)

Real-time high-accuracy optical flow estimation is crucial for various real-world applications. While recent learning-based optical flow methods have achieved high accuracy, they often come with significant computational costs. In this paper, we propose a highly efficient optical flow method that balances high accuracy with reduced computational demands. Building upon NeuFlow v1, we introduce new components including a much more light-weight backbone and a fast refinement module. Both these modules help in keeping the computational demands light while providing close to state of the art accuracy. Compares to other state of the art methods, our model achieves a 10x-70x speedup while maintaining comparable performance on both synthetic and real-world data. It is capable of running at over 20 FPS on 512×384 resolution images on a Jetson Orin Nano. The full training and evaluation code is available at https://github.com/neufieldrobotics/NeuFlow_v2.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google