Applications of Spiking Neural Networks in Visual Place Recognition

要約

ロボット工学では、スパイクニューラルネットワーク（SNN）は、特に神経型ハードウェアに実装された場合、主に現実化されていないポテンシャルエネルギー効率と低遅延についてますます認識されています。
私たちの論文は、視覚的な場所認識（VPR）におけるSNNの3つの進歩を強調しています。
第一に、各SNNが地理的に異なる非重複する一連の場所を表し、大きな環境に合わせてスケーラブルなネットワークを可能にするモジュラーSNNを提案します。
第二に、複数のネットワークが同じ場所を表すモジュラーSNNのアンサンブルを提示し、単一ネットワークモデルと比較して精度を大幅に向上させます。
各モジュラーSNNモジュールはコンパクトで、1500個のニューロンと474Kシナプスのみを含むため、サイズが小さいためアンサンミングに理想的に適しています。
最後に、SNNベースのVPRでのシーケンスマッチングの役割を調査します。これは、場所の認識を改良するために連続した画像を使用する技術です。
従来のVPRテクニックと比較してアンサンミングに対するより高い応答性や、同等のベースラインパフォーマンスを備えたVPRテクニックよりもシーケンスマッチングを伴うR@1の改善を含む、さまざまなデータセットでのメソッドの競合パフォーマンスを実証します。
私たちの貢献は、VPRのSNNの実行可能性を強調し、スケーラブルで堅牢なソリューションを提供し、さまざまなエネルギーに敏感なロボットタスクへのアプリケーションへの道を開いています。

要約(オリジナル)

In robotics, Spiking Neural Networks (SNNs) are increasingly recognized for their largely-unrealized potential energy efficiency and low latency particularly when implemented on neuromorphic hardware. Our paper highlights three advancements for SNNs in Visual Place Recognition (VPR). Firstly, we propose Modular SNNs, where each SNN represents a set of non-overlapping geographically distinct places, enabling scalable networks for large environments. Secondly, we present Ensembles of Modular SNNs, where multiple networks represent the same place, significantly enhancing accuracy compared to single-network models. Each of our Modular SNN modules is compact, comprising only 1500 neurons and 474k synapses, making them ideally suited for ensembling due to their small size. Lastly, we investigate the role of sequence matching in SNN-based VPR, a technique where consecutive images are used to refine place recognition. We demonstrate competitive performance of our method on a range of datasets, including higher responsiveness to ensembling compared to conventional VPR techniques and higher R@1 improvements with sequence matching than VPR techniques with comparable baseline performance. Our contributions highlight the viability of SNNs for VPR, offering scalable and robust solutions, and paving the way for their application in various energy-sensitive robotic tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google