Event-based Agile Object Catching with a Quadrupedal Robot

要約

四足歩行ロボットは、困難な起伏のある地形をナビゲートする能力により、さまざまな屋内および屋外のアプリケーションを征服しています.
外受容情報は、周囲を知覚することでコントローラーを適応させ、より高いレベルのロバスト性を実現できるため、この機能を大幅に強化します。
ただし、LiDAR や RGB カメラなどのセンサーは、帯域幅とレイテンシのトレードオフに悩まされるため、非常に動的な環境で迅速かつ正確に反応するための十分な情報を提供しません。
高フレーム レートではかなりの帯域幅が必要ですが、低フレーム レートではかなりの知覚遅延が発生するため、リソースに制約のあるプラットフォームでの汎用性が制限されます。
この作業では、四足動物にイベント カメラを装備することでこの問題に取り組みます。イベント カメラは、非同期で疎な動作のため、このトレードオフの影響を受けません。
イベントの低レイテンシーを活用して、4足のアジリティの限界を押し広げ、高速なボールキャッチを初めて実証します。
イベント カメラを装備した四足歩行は、4 メートルから最大 15 m/s の速度で物体を捉えることができ、成功率は 83% であることを示しています。
VGA イベント カメラを使用して、この方法は NVIDIA Jetson Orin で 100 Hz で実行されます。

要約(オリジナル)

Quadrupedal robots are conquering various indoor and outdoor applications due to their ability to navigate challenging uneven terrains. Exteroceptive information greatly enhances this capability since perceiving their surroundings allows them to adapt their controller and thus achieve higher levels of robustness. However, sensors such as LiDARs and RGB cameras do not provide sufficient information to quickly and precisely react in a highly dynamic environment since they suffer from a bandwidth-latency tradeoff. They require significant bandwidth at high frame rates while featuring significant perceptual latency at lower frame rates, thereby limiting their versatility on resource-constrained platforms. In this work, we tackle this problem by equipping our quadruped with an event camera, which does not suffer from this tradeoff due to its asynchronous and sparse operation. In leveraging the low latency of the events, we push the limits of quadruped agility and demonstrate high-speed ball catching for the first time. We show that our quadruped equipped with an event camera can catch objects with speeds up to 15 m/s from 4 meters, with a success rate of 83%. Using a VGA event camera, our method runs at 100 Hz on an NVIDIA Jetson Orin.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google