Neuromorphic Optical Flow and Real-time Implementation with Event Cameras

要約

オプティカル フローは、多くのコンピューター ビジョン パイプラインの重要なコンポーネントである相対運動に関する情報を提供します。
ニューラル ネットワークは高精度のオプティカル フローを提供しますが、その複雑さは、効率と遅延が重要な役割を果たすエッジやロボットでのアプリケーションには法外なことがよくあります。
この課題に対処するために、私たちはイベントベースのビジョンとスパイキング ニューラル ネットワークの最新の開発に基づいて構築しています。
私たちは、Timelens からインスピレーションを得た新しいネットワーク アーキテクチャを提案します。これは、スパイク モードと非スパイク モードの両方で動作する場合に、最先端の自己監視型オプティカル フローの精度を向上させます。
物理イベント カメラを使用したリアルタイム パイプラインを実装するために、アクティビティとレイテンシの分析に基づいて原則に基づいてモデルを簡素化する方法論を提案します。
私たちは、精度を維持しながら複雑さをほぼ 2 桁削減した高速オプティカル フロー予測を実証し、リアルタイム展開への道を開きます。

要約(オリジナル)

Optical flow provides information on relative motion that is an important component in many computer vision pipelines. Neural networks provide high accuracy optical flow, yet their complexity is often prohibitive for application at the edge or in robots, where efficiency and latency play crucial role. To address this challenge, we build on the latest developments in event-based vision and spiking neural networks. We propose a new network architecture, inspired by Timelens, that improves the state-of-the-art self-supervised optical flow accuracy when operated both in spiking and non-spiking mode. To implement a real-time pipeline with a physical event camera, we propose a methodology for principled model simplification based on activity and latency analysis. We demonstrate high speed optical flow prediction with almost two orders of magnitude reduced complexity while maintaining the accuracy, opening the path for real-time deployments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google