Event-based vision for egomotion estimation using precise event timing

要約

エゴモーション推定は、正確かつリアルタイムのモーション追跡が必要な自律ナビゲーションやロボット工学などのアプリケーションにとって非常に重要です。
しかし、慣性センサーに依存する従来の方法は外部条件に非常に敏感であり、長距離では大きな不正確さにつながるドリフトの影響を受けます。
ビジョンベースの方法、特にイベントベースのビジョンセンサーを利用する方法は、シーン内で変化が認識された場合にのみデータをキャプチャすることで効率的な代替手段を提供します。
このアプローチでは、高速かつ低遅延のフィードバックを実現しながら、消費電力を最小限に抑えます。
この研究では、イベント ベースのドメイン内でイベント ストリームを直接処理する、エゴモーション推定のための完全なイベント ベースのパイプラインを提案します。
この方法により、フレームベースの仲介の必要性がなくなり、低遅延でエネルギー効率の高い動き推定が可能になります。
シナプス ゲート機構を使用して浅いスパイク ニューラル ネットワークを構築し、正確なイベント タイミングをスパイクのバーストに変換します。
これらのスパイクは局所的なオプティカル フロー速度をエンコードし、ネットワークはエゴモーションのイベントベースの読み取りを提供します。
専用チップ上でネットワークのパフォーマンスを評価し、低遅延、低電力の動き推定の強力な可能性を実証します。
さらに、大規模ネットワークのシミュレーションでは、このシステムがイベントベースのカメラを使用したエゴモーション推定タスクで最先端の精度を達成し、リアルタイムの電力に制約のあるロボット工学アプリケーションにとって有望なソリューションとなることが示されています。

要約(オリジナル)

Egomotion estimation is crucial for applications such as autonomous navigation and robotics, where accurate and real-time motion tracking is required. However, traditional methods relying on inertial sensors are highly sensitive to external conditions, and suffer from drifts leading to large inaccuracies over long distances. Vision-based methods, particularly those utilising event-based vision sensors, provide an efficient alternative by capturing data only when changes are perceived in the scene. This approach minimises power consumption while delivering high-speed, low-latency feedback. In this work, we propose a fully event-based pipeline for egomotion estimation that processes the event stream directly within the event-based domain. This method eliminates the need for frame-based intermediaries, allowing for low-latency and energy-efficient motion estimation. We construct a shallow spiking neural network using a synaptic gating mechanism to convert precise event timing into bursts of spikes. These spikes encode local optical flow velocities, and the network provides an event-based readout of egomotion. We evaluate the network’s performance on a dedicated chip, demonstrating strong potential for low-latency, low-power motion estimation. Additionally, simulations of larger networks show that the system achieves state-of-the-art accuracy in egomotion estimation tasks with event-based cameras, making it a promising solution for real-time, power-constrained robotics applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google