A Neuromorphic Approach to Obstacle Avoidance in Robot Manipulation

要約

ニューロモーフィック コンピューティングは、$\textit{silico}$ の脳の計算原理を模倣し、イベントベースのビジョンやスパイキング ニューラル ネットワーク (SNN) の研究を促進します。
イベント カメラ (EC) は、局所的な強度の変化を独占的にキャプチャし、優れた消費電力、応答遅延、およびダイナミック レンジを提供します。
SNN は生物学的ニューロンのダイナミクスを再現し、視覚的分類におけるエネルギー消費と推論時間の削減など、従来の人工ニューラル ネットワーク (ANN) の代替としての可能性を実証しています。
それにもかかわらず、これらの新しいパラダイムは、航空機ロボットの領域以外ではほとんど研究されていません。
脳にヒントを得たセンシングとデータ処理の有用性を調査するために、私たちはカメラを備えたマニピュレーターで障害物を回避するニューロモーフィックなアプローチを開発しました。
私たちのアプローチは、畳み込み SNN でエミュレートされたイベント データを処理し、神経活動を回避モーションにデコードし、動的モーション プリミティブを使用して計画を調整することにより、リアクティブな操作で高レベルの軌道計画を適応させます。
私たちは、Kinova Gen3 アームを使用して、一連の個別のタスク シナリオで障害物を伴う単純な到達タスクを実行し、非適応ベースラインと比較して実験を実施しました。
私たちのニューロモーフィックなアプローチにより、ベースラインが一貫して失敗するシミュレーション実験や現実世界の実験において、差し迫った衝突を確実に回避することが容易になりました。
軌道の適応は、安全性と予測可能性の基準にほとんど影響を与えませんでした。
注目すべき SNN 特性の中には、知覚される動きの大きさと計算の相関関係と、さまざまなイベント エミュレーション方法に対する堅牢性が含まれます。
DAVIS346 EC を使用したテストでも同様のパフォーマンスが示され、実験的なイベント エミュレーションが検証されました。
私たちの結果は、SNN 学習の組み込み、ニューロモーフィック プロセッサの利用、そしてニューロモーフィック手法の可能性のさらなる探求の動機付けとなります。

要約(オリジナル)

Neuromorphic computing mimics computational principles of the brain in $\textit{silico}$ and motivates research into event-based vision and spiking neural networks (SNNs). Event cameras (ECs) exclusively capture local intensity changes and offer superior power consumption, response latencies, and dynamic ranges. SNNs replicate biological neuronal dynamics and have demonstrated potential as alternatives to conventional artificial neural networks (ANNs), such as in reducing energy expenditure and inference time in visual classification. Nevertheless, these novel paradigms remain scarcely explored outside the domain of aerial robots. To investigate the utility of brain-inspired sensing and data processing, we developed a neuromorphic approach to obstacle avoidance on a camera-equipped manipulator. Our approach adapts high-level trajectory plans with reactive maneuvers by processing emulated event data in a convolutional SNN, decoding neural activations into avoidance motions, and adjusting plans using a dynamic motion primitive. We conducted experiments with a Kinova Gen3 arm performing simple reaching tasks that involve obstacles in sets of distinct task scenarios and in comparison to a non-adaptive baseline. Our neuromorphic approach facilitated reliable avoidance of imminent collisions in simulated and real-world experiments, where the baseline consistently failed. Trajectory adaptations had low impacts on safety and predictability criteria. Among the notable SNN properties were the correlation of computations with the magnitude of perceived motions and a robustness to different event emulation methods. Tests with a DAVIS346 EC showed similar performance, validating our experimental event emulation. Our results motivate incorporating SNN learning, utilizing neuromorphic processors, and further exploring the potential of neuromorphic methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google