NeuFlow: Real-time, High-accuracy Optical Flow Estimation on Robots Using Edge Devices

要約

リアルタイムの高精度オプティカル フロー推定は、ロボット工学における位置特定とマッピング、オブジェクト追跡、コンピューター ビジョンにおけるアクティビティ認識など、さまざまなアプリケーションにおいて重要なコンポーネントです。
最近の学習ベースのオプティカル フロー手法は高い精度を実現していますが、多くの場合、多額の計算コストが伴います。
この論文では、高精度と計算コストの両方の懸念に対処する、NeuFlow と呼ばれる高効率オプティカル フロー アーキテクチャを提案します。
このアーキテクチャは、グローバルからローカルへのスキームに従います。
さまざまな空間解像度で抽出された入力画像の特徴を考慮して、グローバル マッチングを使用して 1/16 解像度で初期オプティカル フローを推定し、大きな変位をキャプチャします。その後、軽量 CNN レイヤーを使用して 1/8 解像度で微調整されます。
正確さ。
Jetson Orin Nano と RTX 2080 に対するアプローチを評価し、さまざまなコンピューティング プラットフォーム全体での効率の向上を実証します。
同等の精度を維持しながら、いくつかの最先端の方法と比較して、顕著な 10 倍から 80 倍の高速化を達成します。
私たちのアプローチは、エッジ コンピューティング プラットフォーム上で約 30 FPS を達成します。これは、SLAM などの複雑なコンピューター ビジョン タスクをドローンなどの小型ロボットに展開する上での大きな進歩となります。
完全なトレーニングおよび評価コードは、https://github.com/neufieldrobotics/NeuFlow で入手できます。

要約(オリジナル)

Real-time high-accuracy optical flow estimation is a crucial component in various applications, including localization and mapping in robotics, object tracking, and activity recognition in computer vision. While recent learning-based optical flow methods have achieved high accuracy, they often come with heavy computation costs. In this paper, we propose a highly efficient optical flow architecture, called NeuFlow, that addresses both high accuracy and computational cost concerns. The architecture follows a global-to-local scheme. Given the features of the input images extracted at different spatial resolutions, global matching is employed to estimate an initial optical flow on the 1/16 resolution, capturing large displacement, which is then refined on the 1/8 resolution with lightweight CNN layers for better accuracy. We evaluate our approach on Jetson Orin Nano and RTX 2080 to demonstrate efficiency improvements across different computing platforms. We achieve a notable 10x-80x speedup compared to several state-of-the-art methods, while maintaining comparable accuracy. Our approach achieves around 30 FPS on edge computing platforms, which represents a significant breakthrough in deploying complex computer vision tasks such as SLAM on small robots like drones. The full training and evaluation code is available at https://github.com/neufieldrobotics/NeuFlow.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google