Neuromorphic Optical Flow and Real-time Implementation with Event Cameras

要約

タイトル：ニューロモーフィック光学フローとイベントカメラでのリアルタイム実装
要約：
– 光学フローは、多くのコンピュータビジョンパイプラインにおいて重要な相対運動情報を提供する。
– ニューラルネットワークは光学フローの高い精度を提供するが、効率とレイテンシーが重要であるロボットやエッジでの適用の複雑さはしばしば禁止されている。
– 最新のイベントベースビジョンとスパイキングニューラルネットワークの発展に基づいて構築され、Timelensに着想を得た、新しいネットワークアーキテクチャを提案する。
– 機能するときに自己監督される光学フローの正確性を改善することができ、スパイキングと非スパイキングの両方で動作しているときに最新状態の改善された精度を提供します。
– 物理的なイベントカメラでリアルタイムパイプラインを実装するには、アクティビティとレイテンシー分析に基づく基本的なモデル単純化の方法を提案する。
– 精度を維持しながら複雑性をほぼ2桁削減し、高速な光学フローの予測を実証し、リアルタイム展開の道を開く。

要約(オリジナル)

Optical flow provides information on relative motion that is an important component in many computer vision pipelines. Neural networks provide high accuracy optical flow, yet their complexity is often prohibitive for application at the edge or in robots, where efficiency and latency play crucial role. To address this challenge, we build on the latest developments in event-based vision and spiking neural networks. We propose a new network architecture, inspired by Timelens, that improves the state-of-the-art self-supervised optical flow accuracy when operated both in spiking and non-spiking mode. To implement a real-time pipeline with a physical event camera, we propose a methodology for principled model simplification based on activity and latency analysis. We demonstrate high speed optical flow prediction with almost two orders of magnitude reduced complexity while maintaining the accuracy, opening the path for real-time deployments.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI