Event-Enhanced Multi-Modal Spiking Neural Network for Dynamic Obstacle Avoidance

要約

自律的な障害物回避は、移動ロボットなどのインテリジェント エージェントが環境内を移動するために非常に重要です。
既存の最先端の手法は、深層強化学習 (DRL) を使用してスパイキング ニューラル ネットワーク (SNN) をトレーニングし、複雑な/未知のシーンでエネルギー効率が高く、高速な推論速度を実現します。
これらの方法は通常、環境が静的である一方、現実世界のシーンの障害物は動的であることが多いと想定しています。
障害物の移動により環境の複雑さが増し、既存の方法に大きな課題が生じます。
この研究では、堅牢な動的障害物回避に 2 つのアプローチをとります。
まず、動的障害物を処理するための従来のレーザー深度データを補完するモーション キューを提供するニューロモーフィック ビジョン センサー (つまり、イベント カメラ) を導入します。
次に、教師なし表現学習を通じてモーション イベント データから情報を抽出し、レーザーとイベント カメラのデータを学習可能なしきい値処理と融合する、DRL ベースのイベント強化マルチモーダル スパイキング アクター ネットワーク (EEM-SAN) を開発します。
実験では、当社の EEM-SAN が、特に動的障害物回避において、最先端の障害物回避方法を大幅に上回る性能を発揮することが実証されています。

要約(オリジナル)

Autonomous obstacle avoidance is of vital importance for an intelligent agent such as a mobile robot to navigate in its environment. Existing state-of-the-art methods train a spiking neural network (SNN) with deep reinforcement learning (DRL) to achieve energy-efficient and fast inference speed in complex/unknown scenes. These methods typically assume that the environment is static while the obstacles in real-world scenes are often dynamic. The movement of obstacles increases the complexity of the environment and poses a great challenge to the existing methods. In this work, we approach robust dynamic obstacle avoidance twofold. First, we introduce the neuromorphic vision sensor (i.e., event camera) to provide motion cues complementary to the traditional Laser depth data for handling dynamic obstacles. Second, we develop an DRL-based event-enhanced multimodal spiking actor network (EEM-SAN) that extracts information from motion events data via unsupervised representation learning and fuses Laser and event camera data with learnable thresholding. Experiments demonstrate that our EEM-SAN outperforms state-of-the-art obstacle avoidance methods by a significant margin, especially for dynamic obstacle avoidance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google