ES-Parkour: Advanced Robot Parkour with Bio-inspired Event Camera and Spiking Neural Network

要約

近年、四足動力装置は、特に強化学習を通じて知覚とモーション制御において大幅に進歩し、挑戦的な環境で複雑な動きを可能にしています。
深さカメラのような視覚センサーは、安定性と堅牢性を高めますが、関節制御と比較して低い動作周波数や照明に対する感受性など、屋外の展開を妨げるなど、顔の制限を向上させます。
さらに、センサーおよび制御システムの深いニューラルネットワークは、計算需要を増加させます。
これらの問題に対処するために、スパイクニューラルネットワーク（SNNS）とイベントカメラを導入して、挑戦的な四足動物タスクを実行します。
イベントカメラは動的な視覚データをキャプチャしますが、SNNはスパイクシーケンスを効率的に処理し、生物学的知覚を模倣します。
実験結果は、このアプローチが従来のモデルを大幅に上回り、人工ニューラルネットワーク（ANN）ベースのモデルのエネルギー消費量のわずか11.7％で優れたパルクール性能を達成し、88.3％のエネルギー削減をもたらすことを示しています。
イベントカメラをSNNと統合することにより、私たちの作業はロボット強化学習を進め、要求の厳しい環境でアプリケーションの新しい可能性を開きます。

要約(オリジナル)

In recent years, quadruped robotics has advanced significantly, particularly in perception and motion control via reinforcement learning, enabling complex motions in challenging environments. Visual sensors like depth cameras enhance stability and robustness but face limitations, such as low operating frequencies relative to joint control and sensitivity to lighting, which hinder outdoor deployment. Additionally, deep neural networks in sensor and control systems increase computational demands. To address these issues, we introduce spiking neural networks (SNNs) and event cameras to perform a challenging quadruped parkour task. Event cameras capture dynamic visual data, while SNNs efficiently process spike sequences, mimicking biological perception. Experimental results demonstrate that this approach significantly outperforms traditional models, achieving excellent parkour performance with just 11.7% of the energy consumption of an artificial neural network (ANN)-based model, yielding an 88.3% energy reduction. By integrating event cameras with SNNs, our work advances robotic reinforcement learning and opens new possibilities for applications in demanding environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google