Neuromorphic Visual Odometry with Resonator Networks

要約

自律型エージェントは、未知の環境でナビゲートするために自己位置特定を必要とします。
彼らはビジュアル オドメトリ (VO) を使用して自己の動きを推定し、視覚センサーを使用して自分の位置を特定できます。
このモーション推定戦略は、慣性センサーとしてのドリフトやホイール エンコーダーとしてのスリップによって損なわれることはありません。
ただし、従来のカメラを使用した VO は計算負荷が高く、厳密な低遅延、メモリ、およびエネルギー要件を持つシステムへの適用が制限されます。
イベントベースのカメラとニューロモーフィック コンピューティング ハードウェアを使用すると、VO 問題に対する有望な低電力ソリューションが提供されます。
ただし、VO の従来のアルゴリズムは、ニューロモーフィック ハードウェアに容易に変換できません。
この作業では、ニューロモーフィック実装に適したニューロン ビルディング ブロックで完全に構築された VO アルゴリズムを提示します。
ビルディング ブロックは、ニューロモーフィック ハードウェアをプログラムするための抽象化レイヤーとして提案された Vector Symbolic Architecture (VSA) の計算フレームワークでベクトルを表すニューロンのグループです。
私たちが提案する VO ネットワークは、提示された視覚環境のワーキング メモリを生成して保存します。
この作業メモリを更新すると同時に、カメラの位置と向きの変化を推定します。
ニューロモルフィック ロボティクスのコンピューティング パラダイムとして VSA を活用する方法を示します。
さらに、私たちの結果は、ニューロモーフィック コンピューティング ハードウェアを使用して、高速で電力効率の高い VO と、同時ローカリゼーションとマッピング (SLAM) の関連タスクを実現するための重要なステップを表しています。
このアプローチを単純なロボット タスクとイベントベースのデータセットで実験的に検証し、これらの設定で最先端のパフォーマンスを実証します。

要約(オリジナル)

Autonomous agents require self-localization to navigate in unknown environments. They can use Visual Odometry (VO) to estimate self-motion and localize themselves using visual sensors. This motion-estimation strategy is not compromised by drift as inertial sensors or slippage as wheel encoders. However, VO with conventional cameras is computationally demanding, limiting its application in systems with strict low-latency, -memory, and -energy requirements. Using event-based cameras and neuromorphic computing hardware offers a promising low-power solution to the VO problem. However, conventional algorithms for VO are not readily convertible to neuromorphic hardware. In this work, we present a VO algorithm built entirely of neuronal building blocks suitable for neuromorphic implementation. The building blocks are groups of neurons representing vectors in the computational framework of Vector Symbolic Architecture (VSA) which was proposed as an abstraction layer to program neuromorphic hardware. The VO network we propose generates and stores a working memory of the presented visual environment. It updates this working memory while at the same time estimating the changing location and orientation of the camera. We demonstrate how VSA can be leveraged as a computing paradigm for neuromorphic robotics. Moreover, our results represent an important step towards using neuromorphic computing hardware for fast and power-efficient VO and the related task of simultaneous localization and mapping (SLAM). We validate this approach experimentally in a simple robotic task and with an event-based dataset, demonstrating state-of-the-art performance in these settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google