Fully neuromorphic vision and control for autonomous drone flight

要約

生物学的な感知と処理は非同期でまばらであるため、低遅延でエネルギー効率の高い知覚と行動につながります。
ロボット工学では、イベントベースのビジョンとスパイキング ニューラル ネットワーク用のニューロモルフィック ハードウェアが同様の特性を示すことが期待されています。
ただし、ロボットの実装は、現在の組み込みニューロモーフィック プロセッサのネットワーク サイズの制限とスパイク ニューラル ネットワークのトレーニングの難しさにより、低次元の感覚入力と運動動作を伴う基本的なタスクに制限されています。
ここでは、自由に飛行するドローンを制御するための最初の完全なニューロモーフィック ビジョンから制御へのパイプラインを紹介します。
具体的には、高次元の未加工のイベントベースのカメラデータを受け入れ、自律的なビジョンベースの飛行を実行するための低レベルの制御アクションを出力するスパイキング ニューラル ネットワークをトレーニングします。
5 つの層と 28.8k のニューロンで構成されるネットワークの視覚部分は、受信する生のイベントをエゴ モーションの推定値にマッピングし、実際のイベント データの自己教師あり学習でトレーニングされます。
制御部分は単一のデコード レイヤーで構成され、ドローン シミュレーターの進化的アルゴリズムで学習されます。
ロボット実験では、完全に学習されたニューロモルフィック パイプラインのシミュレーションからリアルへの転送が成功したことが示されています。
ドローンはさまざまな自我運動の設定値に正確に従うことができるため、ホバリング、着陸、横向きの操縦が可能です。
ニューロモーフィック パイプラインは、Intel の Loihi ニューロモーフィック プロセッサ上で 200 Hz の実行周波数で実行され、推論ごとに 27 $\unicode{x00b5}$J しか消費しません。
これらの結果は、より小型でよりインテリジェントなロボットを実現するためのニューロモーフィック センシングと処理の可能性を示しています。

要約(オリジナル)

Biological sensing and processing is asynchronous and sparse, leading to low-latency and energy-efficient perception and action. In robotics, neuromorphic hardware for event-based vision and spiking neural networks promises to exhibit similar characteristics. However, robotic implementations have been limited to basic tasks with low-dimensional sensory inputs and motor actions due to the restricted network size in current embedded neuromorphic processors and the difficulties of training spiking neural networks. Here, we present the first fully neuromorphic vision-to-control pipeline for controlling a freely flying drone. Specifically, we train a spiking neural network that accepts high-dimensional raw event-based camera data and outputs low-level control actions for performing autonomous vision-based flight. The vision part of the network, consisting of five layers and 28.8k neurons, maps incoming raw events to ego-motion estimates and is trained with self-supervised learning on real event data. The control part consists of a single decoding layer and is learned with an evolutionary algorithm in a drone simulator. Robotic experiments show a successful sim-to-real transfer of the fully learned neuromorphic pipeline. The drone can accurately follow different ego-motion setpoints, allowing for hovering, landing, and maneuvering sideways$\unicode{x2014}$even while yawing at the same time. The neuromorphic pipeline runs on board on Intel’s Loihi neuromorphic processor with an execution frequency of 200 Hz, spending only 27 $\unicode{x00b5}$J per inference. These results illustrate the potential of neuromorphic sensing and processing for enabling smaller, more intelligent robots.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google