Visual Odometry with Neuromorphic Resonator Networks

要約

Visual Odometry (VO) は、視覚センサーを使用して移動ロボットの自己運動を推定する手法です。
慣性センサーやホイールエンコーダーなど、誤差が蓄積される可能性がある差動測定の統合に基づくオドメトリとは異なり、視覚的なオドメトリはドリフトによって損なわれることはありません。
ただし、画像ベースの VO は計算量が多く、低遅延、メモリ、エネルギー要件のあるユースケースでの適用が制限されます。
ニューロモーフィック ハードウェアは、多くの視覚や AI の問題に対する低電力ソリューションを提供しますが、そのようなソリューションの設計は複雑で、多くの場合、最初から組み立てる必要があります。
ここでは、ニューロモーフィック ハードウェアと互換性のあるアルゴリズムを設計するための抽象化レイヤーとしてベクトル シンボリック アーキテクチャ (VSA) を使用することを提案します。
関連論文で説明されているシーン分析用の VSA モデルから構築して、2 次元 VO タスクで最先端のパフォーマンスを実現するモジュール式ニューロモーフィック アルゴリズムを紹介します。
具体的には、提案されたアルゴリズムは、提示された視覚環境の作業メモリを保存および更新します。
この作業記憶に基づいて、共振器ネットワークはカメラの位置と向きの変化を推定します。
ニューロモーフィック VSA ベースの 2 つのベンチマークを使用して、VO に対するニューロモーフィック VSA ベースのアプローチを実験的に検証します。1 つはイベント カメラ データセットに基づくベンチマークで、もう 1 つはロボット タスクを含む動的シーンでのベンチマークです。

要約(オリジナル)

Visual Odometry (VO) is a method to estimate self-motion of a mobile robot using visual sensors. Unlike odometry based on integrating differential measurements that can accumulate errors, such as inertial sensors or wheel encoders, visual odometry is not compromised by drift. However, image-based VO is computationally demanding, limiting its application in use cases with low-latency, -memory, and -energy requirements. Neuromorphic hardware offers low-power solutions to many vision and AI problems, but designing such solutions is complicated and often has to be assembled from scratch. Here we propose to use Vector Symbolic Architecture (VSA) as an abstraction layer to design algorithms compatible with neuromorphic hardware. Building from a VSA model for scene analysis, described in our companion paper, we present a modular neuromorphic algorithm that achieves state-of-the-art performance on two-dimensional VO tasks. Specifically, the proposed algorithm stores and updates a working memory of the presented visual environment. Based on this working memory, a resonator network estimates the changing location and orientation of the camera. We experimentally validate the neuromorphic VSA-based approach to VO with two benchmarks: one based on an event camera dataset and the other in a dynamic scene with a robotic task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google