Neuromorphic Attitude Estimation and Control

要約

小型ドローンの現実世界への応用は、主にエネルギー制限によって妨げられています。
ニューロモーフィック コンピューティングは、自律飛行のための極めてエネルギー効率の高い AI を約束しますが、訓練して実際のロボットに展開するのは依然として困難です。
ニューロモーフィック コンピューティングから最大限の利益を得るには、低レベルの姿勢制御から高レベルのナビゲーションに至るまで、すべての自律機能を単一のニューロモーフィック チップ上でエンドツーエンドで実行することが望まれます。
この研究では、スパイキング ニューラル ネットワーク (SNN) を使用して、ドローンの生の感覚入力を直接運動コマンドに効果的にマッピングする初のニューロモーフィック制御システムを紹介します。
この方法を低レベルの姿勢推定とクワッドローターの制御に適用し、小型 Crazyflie に SNN を展開します。
我々は、個別にトレーニングしてから推定サブネットワークと制御サブネットワークを統合するモジュール式 SNN を提案します。
SNN は、感覚と運動のペアの飛行データセットを使用して、模倣学習でトレーニングされます。
トレーニング後、ネットワークは Crazyflie に展開され、センサー入力から $500$Hz で制御コマンドを発行します。
さらに、トレーニング手順では、追加の励起でコントローラーを飛行させ、ターゲット データをタイムシフトして、SNN の予測能力を強化することでトレーニング データを強化しました。
実際のドローンでは、知覚制御 SNN は平均 $3$ 度の誤差で姿勢コマンドを追跡しますが、通常の飛行スタックでは $2.5$ 度です。
また、平均追跡誤差を低減し、発振を低減するための、提案された学習修正の利点も示します。
私たちの研究は、ニューロモーフィック エンドツーエンド制御を実行する実現可能性を示し、エネルギー効率が高く、遅延が短いニューロモーフィック オートパイロットの基礎を築きます。

要約(オリジナル)

The real-world application of small drones is mostly hampered by energy limitations. Neuromorphic computing promises extremely energy-efficient AI for autonomous flight, but is still challenging to train and deploy on real robots. In order to reap the maximal benefits from neuromorphic computing, it is desired to perform all autonomy functions end-to-end on a single neuromorphic chip, from low-level attitude control to high-level navigation. This research presents the first neuromorphic control system using a spiking neural network (SNN) to effectively map a drone’s raw sensory input directly to motor commands. We apply this method to low-level attitude estimation and control for a quadrotor, deploying the SNN on a tiny Crazyflie. We propose a modular SNN, separately training and then merging estimation and control sub-networks. The SNN is trained with imitation learning, using a flight dataset of sensory-motor pairs. Post-training, the network is deployed on the Crazyflie, issuing control commands from sensor inputs at $500$Hz. Furthermore, for the training procedure we augmented training data by flying a controller with additional excitation and time-shifting the target data to enhance the predictive capabilities of the SNN. On the real drone the perception-to-control SNN tracks attitude commands with an average error of $3$ degrees, compared to $2.5$ degrees for the regular flight stack. We also show the benefits of the proposed learning modifications for reducing the average tracking error and reducing oscillations. Our work shows the feasibility of performing neuromorphic end-to-end control, laying the basis for highly energy-efficient and low-latency neuromorphic autopilots.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google