EV-Planner: Energy-Efficient Robot Navigation via Event-Based Physics-Guided Neuromorphic Planner

要約

視覚に基づく物体追跡は、障害物を回避するための自律的な空中ナビゲーションを行う上で不可欠な前段階である。生物学的に着想を得たニューロモーフィック・イベント・カメラは、（照明条件が悪い場合でも）様々な強度を非同期で検出する能力、高いダイナミックレンジ、モーションブラーに対するロバスト性により、フレームベースのカメラに代わる強力な選択肢として台頭してきている。スパイキング・ニューラル・ネットワーク（SNN）は、エネルギー効率の高い方法でイベントを非同期に処理することで人気を博している。一方、物理ベースの人工知能（AI）は、従来のアナログ・ニューラル・ネットワーク（ANN）に物理モデリングによるシステム知識を埋め込むことを可能にするため、最近注目を集めている。本レターでは、ニューロモルフィック・イベント・カメラと物理ベースAIを用いて障害物回避を行うイベントベース物理誘導ニューロモルフィック・プランナー（EV-Planner）を紹介する。我々は、動くゲートを検出し、衝突を回避しながら通過することをミッションとする自律ドローンナビゲーションのタスクを考える。イベントカメラを使って、教師なし方式で浅いスパイキングニューラルネットワークを使って物体検出を行う。ドローンのローターに存在するブラシレスDCモーターの物理方程式を利用し、深度入力を用いて軽量エネルギー認識物理誘導ニューラルネットワーク（PgNN）を訓練する。これにより、最小に近いエネルギー経路を生成するための最適な飛行時間を予測する。我々は、Gazeboシミュレータでドローンをスポーンし、ロボットオペレーティングシステム（ROS）を使用して、センサー融合ビジョン-計画ニューロシンボリックフレームワークを実装する。衝突のない安全な飛行軌道のシミュレーション結果を、性能分析、アブレーション研究、および今後の研究の方向性と共に示す。

要約(オリジナル)

Vision-based object tracking is an essential precursor to performing autonomous aerial navigation in order to avoid obstacles. Biologically inspired neuromorphic event cameras are emerging as a powerful alternative to frame-based cameras, due to their ability to asynchronously detect varying intensities (even in poor lighting conditions), high dynamic range, and robustness to motion blur. Spiking neural networks (SNNs) have gained traction for processing events asynchronously in an energy-efficient manner. On the other hand, physics-based artificial intelligence (AI) has gained prominence recently, as they enable embedding system knowledge via physical modeling inside traditional analog neural networks (ANNs). In this letter, we present an event-based physics-guided neuromorphic planner (EV-Planner) to perform obstacle avoidance using neuromorphic event cameras and physics-based AI. We consider the task of autonomous drone navigation where the mission is to detect moving gates and fly through them while avoiding a collision. We use event cameras to perform object detection using a shallow spiking neural network in an unsupervised fashion. Utilizing the physical equations of the brushless DC motors present in the drone rotors, we train a lightweight energy-aware physics-guided neural network (PgNN) with depth inputs. This predicts the optimal flight time responsible for generating near-minimum energy paths. We spawn the drone in the Gazebo simulator and implement a sensor-fused vision-to-planning neuro-symbolic framework using Robot Operating System (ROS). Simulation results for safe collision-free flight trajectories are presented with performance analysis, ablation study and potential future research directions

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL