EV-Catcher: High-Speed Object Catching Using Low-latency Event-based Neural Networks

要約

タイトル：EV-Catcher：低遅延イベントベースのニューラルネットワークを使用した高速オブジェクトキャッチ
要約：
– イベントベースのセンサーは、標準的なCMOSベースのイメージャーに比べて、低レイテンシ、より高いダイナミックレンジ、低帯域幅要件などの特性があるため、ロボットの知覚において興味を持たれています。
– 本研究では、イベントカメラが優れる応用例である、高速動くオブジェクトの衝撃位置を正確に推定することを示しています。
– 低レイテンシでイベントデータをエンコードする「Binary Event History Image（BEHI）」と、リアルタイムに制御信号をロボットに生成する学習ベースのアプローチを導入しています。
– ピンポンボールを高速で飛ばす実験的なキャッチシステムを紹介し、異なる位置を狙ったボールの成功率が81％であることを示しました。
– Nvidia Jetson NXのようなコンピュート制約がある組み込みプラットフォームでも、最大13m / sの速度でボールをキャッチすることができます。

要約(オリジナル)

Event-based sensors have recently drawn increasing interest in robotic perception due to their lower latency, higher dynamic range, and lower bandwidth requirements compared to standard CMOS-based imagers. These properties make them ideal tools for real-time perception tasks in highly dynamic environments. In this work, we demonstrate an application where event cameras excel: accurately estimating the impact location of fast-moving objects. We introduce a lightweight event representation called Binary Event History Image (BEHI) to encode event data at low latency, as well as a learning-based approach that allows real-time inference of a confidence-enabled control signal to the robot. To validate our approach, we present an experimental catching system in which we catch fast-flying ping-pong balls. We show that the system is capable of achieving a success rate of 81% in catching balls targeted at different locations, with a velocity of up to 13 m/s even on compute-constrained embedded platforms such as the Nvidia Jetson NX.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI