NeuroVE: Brain-inspired Linear-Angular Velocity Estimation with Spiking Neural Networks

要約

視覚ベースの自我速度推定は、ロボットの状態推定における基本的な問題です。
ただし、モーション ブラーや動的設定での不十分なフレーム レートなど、フレームベースのカメラの制約により、従来の速度推定技術はすぐに失敗します。
哺乳類は、攻撃的な動きの際に自我速度を正確に推定する驚くべき能力を示します。
したがって、この機能をロボットに統合することは、これらの課題に対処する上で大いに期待できます。
この論文では、NeuroVE と呼ばれる、線形角速度推定のための脳にヒントを得たフレームワークを提案します。
NeuroVE フレームワークは、イベント カメラを使用して動作情報をキャプチャし、スパイキング ニューラル ネットワーク (SNN) を実装して、速度推定のための脳の空間細胞の機能をシミュレートします。
速度推定を時系列予測問題として定式化します。
この目的を達成するために、連続値をエンコードするための Astrocyte Leaky Integrate-and-Fire (ALIF) ニューロン モデルを設計します。
さらに、時系列予測機能を大幅に向上させ、自我速度の正確な推定を可能にする Astrocyte Spiking Long Short-Term Memory (ASLSTM) 構造を開発しました。
シミュレーションと実際の実験の両方の結果は、NeuroVE が他の SNN ベースのアプローチと比較して約 60% の精度向上を達成したことを示しています。

要約(オリジナル)

Vision-based ego-velocity estimation is a fundamental problem in robot state estimation. However, the constraints of frame-based cameras, including motion blur and insufficient frame rates in dynamic settings, readily lead to the failure of conventional velocity estimation techniques. Mammals exhibit a remarkable ability to accurately estimate their ego-velocity during aggressive movement. Hence, integrating this capability into robots shows great promise for addressing these challenges. In this paper, we propose a brain-inspired framework for linear-angular velocity estimation, dubbed NeuroVE. The NeuroVE framework employs an event camera to capture the motion information and implements spiking neural networks (SNNs) to simulate the brain’s spatial cells’ function for velocity estimation. We formulate the velocity estimation as a time-series forecasting problem. To this end, we design an Astrocyte Leaky Integrate-and-Fire (ALIF) neuron model to encode continuous values. Additionally, we have developed an Astrocyte Spiking Long Short-term Memory (ASLSTM) structure, which significantly improves the time-series forecasting capabilities, enabling an accurate estimate of ego-velocity. Results from both simulation and real-world experiments indicate that NeuroVE has achieved an approximate 60% increase in accuracy compared to other SNN-based approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google